机器翻译研究现状史晓东mandel@http://210.34.19.21412 July 2004 于复旦大学大纲⏹从863评测谈起⏹机器翻译：流行的和过时的⏹统计机器翻译及其趋势⏹机器翻译和机助翻译⏹厦门大学统计机器翻译讨论班从863评测谈起去年的机器翻译评测结果：（英译汉）单位国防科大/厦大哈工大机译华建中软对话 5.9201 5.0898 6.7251 5.4604篇章 5.7897 4.9034 6.6558 6.1942去年的机器翻译评测结果：（汉译英）单位CCID国防科大/厦大哈工大机译华建中软对话 5.9489 5.4694 5.55677.7722 6.0575篇章 5.3401 4.8462 4.6474 6.3113 5.5097JHU Chinese-English MT score:我的简单评测：采用NIST mt-eval version 10 的简单数据⏹nist sample tst: 4.0011⏹neon 汉英(a piece of shit) : 2.8849⏹华建译通英汉双向超智能版（2002）：3.1963评测驱动系统：不容置疑⏹自动评测让我们知道什么是最好的系统⏹但是，目前（863也好，NIST也好），国内外所有的评测数据（至少是汉英）都不完全公开。
⏹难以在一个公正的平台上来重现评测结果，从而更快地促进技术进步⏹仅仅是钱的问题？⏹系统甚至迎合评测进行训练(Och 2003)不是结论⏹就汉英系统而言，国外的已经超过国内的。
USC, CMU, JHU, RWTH Aachen, IBM，哪一个都是响当当的名字⏹国内，华建？，自动化所？哈工大？，中软？东北大学？计算所？北大? 清华？⏹华建在产业化方面取得了很大的成功。
国内的通病是研究气氛不太活跃。
机器翻译：流行的和过时的⏹Data-driven MT, esp. SMT is now in Vogue⏹传统的基于规则的系统，在学术会议上不再有人提起⏹商业化MT:虽然规则系统仍在中流地位，但SMT打着旗号咆哮崛起SMT的雄心（摘自Language Weaver 公司）显然，事情往往不是那么简单⏹SMT从40年代末Weaver就提出。
1990年IBM的Brown等人才精确描述并加以实现。
1996年IBM突然放弃。
1999年JHU讨论班以后渐渐中兴。
现在则如日中天。
但是，SMT并不能解决一切问题。
⏹螺旋式上升是一切事物发展的规律，新事物的成长总是伴随着对旧事物的矫枉过正SMT的优缺点⏹优点⏹无需人工干预，利用语料库直接训练得到机器翻译系统。
可以利用海量语料库；⏹系统开发周期短；⏹由于采用语言模型，译文质量机器味少；⏹缺点⏹时空开销相对大；⏹需要较大的语料库，翻译结果受语料库影响很大，对训练语料库中未出现的语言现象处理不好；⏹缺乏深层次理解，解决深层或长距离相关性比较困难经典的统计机器翻译⏹基于信源信道思想的IBM模型⏹IBM的Peter Brown等人首先提出⏹目前影响最大⏹几乎成为统计机器翻译的同义词IBM 统计机器翻译基本方程式⏹设从源语言S 翻译为目标语言T ，给定s ，求t ⏹P.Brown 称上式为统计机器翻译基本方程式⏹语言模型：P(t)⏹翻译模型：P(s|t)⏹语言模型反映流利度(fluency ，达)⏹翻译模型反映忠实度(adequacy ，信)⏹从可能的译文中求出最佳译文，称为decoding )|()(max arg t s P t P t=τ两个模型好于单用翻译模型⏹如果直接采用翻译模型，就需要根据上下文建立复杂的上下文条件概率模型，条件变量包括翻译、词序变化等⏹如果采用两个模型，翻译模型可以相对简单：⏹如翻译模型：可以不考虑上下文而只考虑单词之间的翻译概率⏹语言模型：一般采用n元模型,也可采用PCFG等引入隐含变量：对齐a 翻译模型与对齐∑=ata sPtsP)|,()|(对齐：建立源语言句子和目标语言句子的翻译单位之间的对应关系，以便与计算翻译概率。
IBM模型中，建立的是word for word的翻译模型IBM提出了5个翻译模型⏹Model 1仅考虑word for word 的互译概率⏹Model 2加入了词的位置变化的概率⏹Model 3加入了一个词翻译成多个词的概率⏹Model 4：位置变化依赖于前一位置以及对应的译词⏹Model 5：nondeficient version of Model 4IBM Model 3!/!m)l,aj,|d(j eaj)|t(fj ei)|i n(10 e) | f P(a,00aj :j 1m 1j l 1i 20000φφφφφφφ∏∏∏∏≠===--=li im m p p CIBM翻译模型的参数训练⏹GiZA++，Och所写⏹可以免费下载SMT decoding⏹经典的算法：stack decoder, 借自语音识别。
改进：A*搜索⏹贪心搜索：从一个可能性较大的翻译进行改进⏹转化为邮递员问题（TSP），用动态规划求解, Beam搜索IBM方法的问题⏹词对词的翻译：翻译三角形的最低层次⏹没有短语的概念，没有词法（taken，took，take都是不同的词汇），非对称性（只能一对多，不能多对一），n元语言模型太简单（无法描述非局部限制），......统计机器翻译趋势：翻译三角形：Vauquois pyramidIBM model 1-5王野翊的改进⏹背景：德英口语翻译系统⏹语法结构差异较大⏹数据稀疏（训练数据有限）⏹改进：两个层次的对齐模型⏹粗对齐：短语之间的对齐⏹短语识别⏹细对齐：短语内词的对齐⏹词语聚类：基于互信息的方法⏹A*搜索⏹结果⏹机器翻译的正确率提高：错误率降低了11%⏹提高了整个系统的效率：搜索空间更小，速度更快Och等人的改进⏹背景：VerbMobil的一个模块⏹改进⏹语言模型：基于类的五元语法，回退法平滑⏹基于类的模型：词语自动聚类（解决数据稀疏）⏹翻译模型：基于对齐模板（Alignment Template）的方法⏹模板: 类的序列⏹短语对齐：模板对齐+词汇选择⏹用双向HMM 对齐模型得到对齐模板Yamada和Knight的改进⏹基于语法的翻译模型（Syntax-based TM）：⏹输入是源语言句法树，输出是目标语言句子⏹翻译的过程：reorder,insert,translate⏹每个内部结点的子结点随机地重新排列⏹在每一个结点的左边或右边随机插入一个单词⏹左、右插入和不插入的位置取决于父结点和当前结点标记⏹插入哪个词的概率只与被插入词有关，与位置无关⏹对于每一个叶结点进行翻译：词对词的翻译概率⏹输出译文句子Translation Model⏹基于最大熵的统计机器翻译模型⏹源于基于特征的自然语言理解（IBM的Papineni）⏹RWTH Aachen的Och提出⏹也称为log-linear modelsTranslation Model(2)假设从句子f 翻译成e ，h 1(e,f), …, h M (e,f)分别是e 、f 上的M 个特征函数，λ1, …,λM 是与这些特征分别对应的M 个参数，那么直接翻译概率可以用以下公式给出：∑∑∑===≈'11...]),'(exp[/]),(exp[ )|()|Pr(1e Mm m m M m m m f e h f e h f e p f e M λλλλTranslation Model(3)对于给定的f ，其最佳译文e 可以用以下公式表示：∑===Mm m m e ef e h f e e 1)},({max arg )}|{Pr(max arg λTranslation Model(4)⏹取以下特征和参数时等价于IBM信源信道模型：仅使用两个特征：⏹h1(e,f)=p(e)⏹h2(e,f)=p(f|e)⏹λ1＝λ2＝1Direct Maximum Entropy Translation Model(5)参数训练最优化后验概率准则：这个判断准则是凸的，存在全局最优（但存在over-fitting风险）考虑多个参考译文：Direct Maximum Entropy Translation Model(6)⏹Och采用的一些特征函数：⏹Pr(e),Pr(f|e),Pr(e|f)；⏹句子长度：对于产生的每一个目标语言单词进行惩罚(注意IBM模型给予短句子更多的概率)；⏹其他语言模型：如一个基于类的语言模型；⏹词典特征：计算给定的输入输出句子中有多少词典中存在的共现词对。
⏹动词短语个数是否相符⏹....(其他语法、语义、语用特征)Direct Maximum Entropy Translation Model(7)⏹经典的信源信道模型只有在理想的情况下才能达到最优，对于简化的语言模型和翻译模型，取不同的参数值实际效果更好；⏹最大熵方法扩充了统计机器翻译的思路：允许选择有区别性的语言和翻译特征函数。
最大熵方法和短语对齐成了SMT系统的两大基本特征⏹CMU的机器翻译系统(Vogel)⏹JHU的机器翻译系统(Byrne)⏹MIT的机器翻译系统(Koehn)趋势预测⏹SMT的成功很大程度上来自记忆短语翻译，但是如何处理新的未出现的短语呢？⏹建立更多的数据相关性模型：如上下文依赖关系（句内和句间）特征函数的引入⏹一句话：箭尾渐渐向翻译三角形的顶端移动，或综合不同路径我的一些想法 对短语的重新认识对短语的重新认识我的一些想法（2）分解+合成：把不同的特征分层次处理：如时态的处理，可以从SMT中独立出来。
不同的语言特征应该采用不同的（概率或非概率）模型来解释，而不是采用一个混沌的一体化模型(holistic model)我的一些想法（3）⏹A practical MT system is (Prof Sinha): RBMT (x%) + EBMT(y%) +KBMT(z%) +SMT(w%)=> HMT (Hybrid MT)||=> MEMT⏹我认为不是组合，而是融合机器翻译与机助翻译⏹虽然SMT近期取得了很大成功，但是显然MT还有很长的路要走⏹MAT对于专业翻译人员来说，更加实用，如TRADOS公司的Translator’s workbench在本地化行业中大名鼎鼎⏹但是，没有充分利用Internet我们目前完成了一个新的辅助翻译系统⏹多引擎MT提供参考译文⏹通过对等网络在联机翻译用户之间共享翻译库，效率随着翻译用户的数量增多而提高⏹目前版本可以免费下载：http://210.34.19.214/xmcat.rar厦门大学统计机器翻译讨论班⏹目的：⏹在国内造成研究统计机器翻译的气氛⏹目前虽然GIZA++公开了训练的源代码，但是只能运行在linux平台上⏹世界上没有人公开decoder的源代码⏹因此，我们想做一个在windows平台上的公开一切源代码的SMT工具箱主要内容⏹系统地研究SMT的国内外文献⏹在Windows平台上实现所有的主要算法，包括训练和解码，在适当的时候进行源代码公开（GPL），促进SMT的发展⏹建立一个集评测工具和评测数据的平台，使得大家可以共享和比较⏹目标：向开发最好的汉英系统前进任务艰巨⏹但是，我们的实力和JHU的1999年SMT 讨论班相差太大，显然与JHU2003讨论班也不可同日而语，因为我们都是新手⏹我们唯一的优点是没有任何包袱。