- 综合排序
- 最热优先
- 最新优先
- 来自专栏Sarlren的笔记
lstm & attention & Transformer in nmt
lstm & attention & Transformer in nmt lstm相关的一些整理： lstm应用在en-fr进行nmt的代码在：https://www.kaggle.com/code /sarlren/lstm-machine-translation nmt的一些相关整理（其实seq2seq很多内容也在这里）： 注意力机制的一些整理： transformer的一些整理： transformer-nmt的代码在：https://www.kaggle.com/code/sarlren/transformer-machine-translation
31920编辑于 2022-10-28 - 来自专栏reizhi
NMT美化固件基本教程
按照图片顺序操作即可 点小图看大图 所需软件下载链接：点我下载 本教程由reizhi与蓝色森林联合发布
43310编辑于 2022-09-26 - 来自专栏机器之心
EMNLP 2018 | 结合通用和专用NMT的优势，CMU为NMT引入「语境参数生成器」
神经机器翻译（NMT）无需单独训练或调整系统的任何部分就可以直接建模源语言到目标语言的映射。 多语言 NMT 之前的工作可大致分为两种范式。第一个通用 NMT (Johnson et al., 2017; Ha et al., 2016) 对所有语言使用单一模型。 参数生成器是通用的，允许以这种方式增强任何现有的 NMT 模型。 表 1：我们提出的有基础成对 NMT（PNMT）模型的方法（阴影的一行）和用于 IWSLT-15 数据集的 Google 多语言 NMT 模型（GML）的比较。 表 2：我们提出的有基础成对 NMT（PNMT）模型的方法（阴影的一行）和用于 IWSLT-17 数据集的 Google 多语言 NMT 模型（GML）的比较。
70110发布于 2018-09-20 - 来自专栏字根中文校对软件
神经网络翻译（nmt）框架 Marian : MarianNMT
https://marian-nmt.github.io 实现代码：c++ 出品方：the Adam Mickiewicz University in Poznań (AMU) and at the 主要使用项目： World Intellectual Property Organization License :MIT 源代码地址：https://github.com/marian-nmt/marian
2.4K20发布于 2019-02-14 - 来自专栏机器学习算法与Python学习
刷新NMT多项SOTA！
点击 机器学习算法与Python学习 ，选择加星标 精彩内容不迷路 ---- 新智元报道 近日，微软研究院的研究人员搞出了一个1000层的Transformer，在多语种机器翻译任务上刷新多项SOTA 从一开始的百万级的模型参数，到十亿级，再到万亿级，参数规模极大增加。大规模的模型可以在大量任务中可以有更棒的表现，在小样本和零样本学习的情况下也展现出了出色的能力。尽管参数的数量越来越大，参数的深度却一直在被Transformer训练的不稳定性所局限。2019年，科学家Nguyen和Salaz
45920编辑于 2022-03-08 - 来自专栏YoungGy
基于RNN的语言模型与机器翻译NMT
根据给定的文章内容，撰写摘要总结。
2.1K70发布于 2018-01-03 - 来自专栏人工智能前沿讲习
SFFAI分享 | 张文：Recent Advances in NMT【附PPT与视频资料】
我们将立方体剪枝算法应用于NMT解码器中，在达到相同甚至更好翻译性能的情况下，比传统柱搜索算法提升了搜索效率； 3. 正文 ---- 神经网络机器翻译模型（NMT）已经取得非常卓越的效果。然而，仍然存在一些问题和挑战： 1. (1) 引入立方剪枝算法的NMT解码器 我们使用一个示例来说明引入立方剪枝算法的NMT解码器的一步： 上图展示了立方剪枝搜索算法从第10个柱生成第11个柱的全过程。下面我们对上图进行详细的剖析。 NMT模型大多是自回归的，即以源语言句子和目标端的历史序列作为条件逐词生成整个目标译文。 NMT训练时仅使用前一步的参考词语做预测，我们引入模型本身预测的词语，结合参考词语。
93430发布于 2020-05-14 - 来自专栏机器之心
学界 | 基于Apache MXNet，亚马逊NMT开源框架Sockeye论文介绍
选自arXiv 作者：Felix Hieber等 机器之心编译 参与：黄小天、李亚洲、刘晓坤 今年 7 月份，作为 MXNet 的支持者，亚马逊开源了自己的 NMT 框架 Sockeye。 神经机器翻译（NMT）同时为研究者打开了一幅激动人心的新局面，其中训练通道已简化，统一的模型也可直接从数据中得到训练。 这种打破统计机器翻译（SMT）限制的希望使社区大受鼓舞，使得近期工作几乎全部聚焦在 NMT 上，并且看起来似乎每几个月就会有新突破。 在取得上述成果的同时，NMT 也面临着一系列新挑战。 在 SMT 的流行趋势中，即使最强大的 NMT 系统也受益于微妙的架构调整、超参数调节和实证上有效的启发式技术。 与 SMT 不同，NMT 没有「事实上」的工具包来吸引绝大部分的社区注意力，因此未能涵盖来自最近文献的所有最佳想法。
720100发布于 2018-05-11 - 来自专栏新智元
【热点】谷歌腾讯FACEBOOK最新必争之地：神经网络翻译NMT
本文带来对基于神经网络的机器翻译（NMT）技术的研究状况介绍和对比。我们看到：这一技术在过去两年中已经成为AI 界的一个热点研究， 学术界对神经机器翻译（NMT）的研究兴趣不减。 大多数NMT研究者来自美国 到本文发布为止，2017年提交到 arXiv 的 NMT 主题下的论文的作者涉及全球范围的173名研究者，其中大多数（63名）来自美国的大学或研究机构。 例如，来自谷歌大脑研究人员的论文提供了有关构建和扩展 NMT 架构的洞见，并提供了一个开源的 NMT 框架来验证结果。 NMT，数学遇见语言 Facebook 于2017年5月9日宣布，正在开源其 NMT 模型，并有一篇关于论文 发在 arXiv 上。 北京的微软亚洲研究院今年也开始进行 NMT 方面的研究。
1.2K260发布于 2018-03-28 - 来自专栏机器之心
亚马逊开源神经机器翻译框架Sockeye：基于Apache MXNet的NMT平台
选自Amazon 机器之心编译 参与：机器之心编辑部 随着神经机器翻译（NMT）技术的不断演进，越来越多的科研机构和公司选择开源自己的项目，让更多人能够开发出自己的 NMT 模型。 此前，清华大学开源了神经机器翻译工具包 THUMT，谷歌也推出了基于 TensorFlow 的 NMT 模型搭建教程。作为 MXNet 的支持者，亚马逊也开源了自己的 NMT 框架 Sockeye。 Sockeye 同时提供了一个当前最优的神经机器翻译（NMT）模型的实现和一个开展 NMT 研究的平台。Sockeye 是一个基于 Apache MXNet 的快速而可扩展的深度学习库。 本文中，我们首先对 NMT 作了一个概述，接着展示了如何使用 Sockeye 训练一个带有注意力的最小 NMT 模型。 带有注意力的序列到序列模型如何工作？ 总结 在本文中，你了解了用于神经机器翻译（NMT）的序列到序列模型，也学习了如何使用 Sockeye——一个基于 MXNet 的序列到序列框架——来训练并运行一个最小 NMT 模型。
1.7K80发布于 2018-05-09 别慌，NMT 帮你揪出真凶！
今天，我们就用一个简单实验 + 一个超好用的 JDK 工具——NMT（Native Memory Tracking），带你亲手揭开 Java 应用“神秘吃内存”的真相。️ 一、先说说：NMT 是谁？ 从 Java 7u40 开始，JDK 就悄悄内置了一个“内存侦探”——Native Memory Tracking（NMT）。 四、也顺便先看下此时的NMT数据长啥样？ 回到 top 看进程 RES 内存：初始：33.4 MB几分钟后：957.4 MB差值 ≈ 924 MB，和 NMT 报告的 +810~+900MB 高度吻合！✅ 说明：NMT 数据靠谱！ 定期用 NMT 监控生产环境可临时开启 NMT（有轻微性能损耗，约 5~10%）关键命令：jcmd <pid> VM.native_memory summary # 总览 jcmd <pid>
62011编辑于 2025-11-27- 来自专栏量子位
Google发布神经机器翻译教程，带你从零开始搭建NMT系统
李林 编译自 Google Research Blog 量子位 报道 | 公众号 QbitAI 想自己在TensorFlow上搭神经机器翻译(NMT)模型？Google亲自来教你了。 Google的这份教程，从神经机器翻译的背景知识讲起，然后详解了基础系统的代码细节，再讲到NMT系统处理长句的关键：注意力机制。 research.googleblog.com/2017/07/building-your-own-neural-machine.html 教程详情： https://github.com/tensorflow/nmt
2.1K80发布于 2018-03-28 - 来自专栏机器之心
学界 | 百度AAAI 2018论文提出新型NMT模型，性能堪比深层模型
文章提出了一种多信道编码器（MCE）模型，可改进传统神经机器翻译（NMT）模型单一信道编码的缺点。 基于注意力的神经机器翻译无疑成为 NMT 最有效的架构，在许多语言对上超越了传统的统计机器翻译（SMT）系统（Sen-nrich et al. 2017）。 汉英翻译的实证研究表明，我们的模型在强大的开源 NMT 系统 DL4MT1 上实现了 6.52 个 BLEU 百分点的提升。 图 1：左图是传统的基于注意力的 NMT 模型，包含编码器、解码器和一个注意力机制。 百度机器翻译简介：百度机器翻译团队继 2015 年推出全球首个 NMT 线上翻译服务之后，通过持续不断的技术创新，在 NMT 模型研究和产品商业化应用上屡创佳绩。
87660发布于 2018-05-10 - 来自专栏AI研习社
CS224n 更新 | 第十一讲 - GRU 及 NMT 的其他议题
第十一讲 GRU 及 NMT 的其他议题 上手视频约 8 分钟 ▼ ? 翻译 | 徐普、李晶 校对 | 霍雷刚、刘晓东 字幕 | 凡江 课程直达 扫下方二维码 ? 第七讲 - TensorFlow入门 第八讲 - RNN和语言模式 第九讲 - 机器翻译和高级循环神经网络 LSTMs 和 GRUs 第十讲 - 神经机器翻译和注意力模型 第十一讲 - GRU 及 NMT
64210发布于 2018-08-06 - 来自专栏机器之心
深度 | 通过NMT训练的通用语境词向量：NLP中的预训练模型？
选自 einstein.ai 机器之心编译 参与：Nurhachu Null、蒋思源 自然语言处理（NLP）这个领域目前并没有找到合适的初始化方法，它不能像计算机视觉那样可以使用预训练模型获得图像的基本信息，我们在自然语言处理领域更常用的还是随机初始化词向量。本文希望通过 MT-LSTM 先学习一个词向量，该词向量可以表征词汇的基本信息，然后再利用该词向量辅助其它自然语言处理任务以提升性能。本文先描述了如何训练一个带注意力机制的神经机器翻译，其次描述了如何抽取该模型的通用词向量与将其应用于其它任务的性能。
1.7K50发布于 2018-05-09 - 来自专栏测试技术圈
谁来接NMT（Native Memory Tracking）内存故障诊断的下一个棒
但是NMT不能跟踪C代码的申请的堆外内存的情况，那么NMT诊断后，下面的事情谁来做呢，那么请看测者今天的笔记内容。
86220发布于 2019-08-02 - 来自专栏机器之心
学界 | 对比神经机器翻译和统计机器翻译：NMT的六大挑战
绿色为 NMT，蓝色为 SMT 在对应领域中，NMT 和 SMT 系统效果差不多，但在领域外 NMT 几乎在所有案例中都要比 SMT 表现更差（如 NMT 和 SMT 在医疗训练集/法律测试集中获得 3.9 NMT 表现出一个更陡峭的学习曲线，其从并不好的结果开始（对于有 0.4M 词量的第一分区为 1.6 和 16.4 BLEU），比 SMT 优于 1 BLEU（24M 词量），NMT 甚至在整个数据集上要比带大型 LM 的 SMT 更优秀（31.1 / 28.4 / 30.4 BLEU分别对应于 NMT、SMT 和 SMT+BigLM） NMT 和 SMT 学习曲线的对比是很明显的：NMT 不能在语料库少于百万级词量的情况下顺利进行训练 挑战三：生僻词 传统观点表示 NMT 在生僻词上表现得特别差。 测试这个挑战的 NMT 和 SMT 系统在德语-英语测试集上都实现了案例敏感的（case-sensitive）34.5 BLEU（34.5 BLEU 是在 NMT，且束大小（beam size）为 1
2.3K80发布于 2018-05-08 - 来自专栏新智元
对抗神经机器翻译：GAN＋NMT 模型，中国研究者显著提升机翻质量
对抗 NMT，将模型翻译结果与人类翻译的差距最小化 于是，他们在研究 NMT 的学习范式后，采取了一种新的思路——训练 NMT，让模型翻译结果与人类翻译的差距最小化。 为此，他们借助了生成对抗网络（GAN）的力量，并将新模型命名为“对抗 NMT”（Adversarial-NMT）。 在对抗 NMT 中，除了典型的 NMT 模型，还有一个对手（adversary）用于区分 NMT 生成的翻译与人类翻译。这个对手是一个精心设计的 CNN。 为了实现这个目标，受近来生成对抗网络（GAN）成功的启发，我们采用对抗训练架构，并将其命名为对抗 NMT。在对抗 NMT 中，NMT 模型的训练对手是一个精心设计的卷积神经网络（CNN）。 这个对手 CNN 的目标是区分 NMT 模型生成的翻译结果与人类翻译结果。NMT 模型的目标则是生成高质量的翻译，从而骗过对手。我们还利用策略梯度法协助训练 NMT 模型和对手 CNN。
1.8K200发布于 2018-03-28 - 来自专栏机器之心
ACL 2021 | 腾讯AI Lab、港中文杰出论文：用单语记忆实现高性能NMT
论文地址：https://arxiv.org/abs/2105.11269 先前的一些工作已经证明翻译记忆库（TM）可以提高神经机器翻译 (NMT) 的性能。 该翻译模型建立在标准的编码器 - 解码器 NMT 模型上：（源）编码器将源语句 x 转换为密集向量表征，解码器以自回归方式生成输出序列 y。 为了容纳额外的记忆输入，该研究使用记忆编码器扩展了标准的编码器 - 解码器 NMT 框架，并允许使用从解码器到记忆编码器的交叉注意力机制。 这一结果证实了单语 TM 可以提高 NMT 的性能。 该研究还与反向翻译 (BT)进行了比较，这是一种将单语数据用于 NMT 的流行方法。
1K30发布于 2021-08-06 - 来自专栏机器之心
学界 | 中科大与微软提出Adversarial-NMT：将生成对抗网络用于神经机器翻译
在 Adversarial-NMT 中，NMT 模型的训练会得到一个对手的协助，这是一个精心设计的卷积神经网络（CNN）。这个对手的目标是找到该 NMT 模型所生成的翻译结果与人类翻译结果之间的区别。 该 NMT 模型的目标是生成高质量的能够欺骗其对手的翻译。我们还采用了一种策略梯度方法来联合训练该 NMT 模型及其对手。 在英法翻译和德英翻译任务上的实验结果表明 Adversarial-NMT 可以实现比几种强基准显著更好的翻译质量。 ? 图 1：Adversarial-NMT 框架。 表 1：在英法翻译上不同 NMT 系统的表现。 表 2：在德英翻译上不同 NMT 系统的表现。
64170发布于 2018-05-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号