问NMT模型上异常高的BLEU分数

EN

这是关于英语/爱尔兰语对的神经机器翻译项目。在过去的一个多月里，我一直在努力训练一个良好的基线来进行“实验”。我有一个~850 k句的语料库(不幸的是，爱尔兰语非常有限)。当我和BLEU一起训练和评估时，我得到了65.02分，这显然是荒谬的错误。这是我的费尔塞克火车设置：

!CUDA_VISIBLE_DEVICES=0 fairseq-train data-bin-full_corp/MayNMT \
  --lr 5e-4 --lr-scheduler inverse_sqrt --optimizer adam\
  --clip-norm 0.1 --dropout 0.2 --max-tokens 4096 \
  --arch transformer --save-dir checkpoints/full-tran

我知道不是每个人都会在NLP中使用Fairseq，但我希望争论是不言自明的。

我删除了数据集(转换为一个仅接受唯一条目的Python )，因此我不认为问题是dev/ set()和测试集包含重复的条目，但我不知道是什么原因造成的。有些人认为，过度适应可能是一个原因，但我认为，这将只会影响BLEU，如果开发人员设置共享的培训项目。我自己也想找出这个问题，但是没有太多地方覆盖NMT，更不用说BLEU了。