读书破万卷 下笔如有神 李艳老师和葛诗利老师 《大学英语作文自动评分中分级词表的效度研究》 词表的思想，而这可以通过改进或者调整已有的词表来获得。

目前自然语言处理中准确率最高的、 也是最基本的研究就是词汇分析, 长分布、词汇分布和词汇丰富性等。

词汇分布：一篇作文中的词汇占某一分级词表每个级别词汇的比例。 级别的词表。 CLEC中国学习者英语语料库 SPSS软件包的单因素方差分析（ ANOVA） SPSS多元线性回归 分数档的精确率和召回率，总体准确率和误判率 个分数精确率=本为X档作文并且被评为 X档作文的数量/所有被评为 X档作文的总数*100 精确率越高，说明作文被评为该分数档的可信度越高 Laufer&Natio n 以词族为计算单位，词频概貌 文秋芳以类符为计算单词，称为词频广度 倪岚以形符为计算单位词频分布 准确率都是30%左右 徐剑和梁茂成《对集中英汉机器翻译系统的测评》 翻译系统在译文输出方面已经比较成熟，源语言的语义识别方面还不如人意。 80年代，机器翻译研究 863智能型英汉翻译系统一“译星一号” 评估标准：系统功能，操作的难易度及译文质量（包括译文的忠实度、 译语的可懂度和译文 的可接受性） 欧共体评估：识别（译文的得懂度、忠实度、连贯度、有用性、读取速度和译文的可接受性） 和语言方面（句子结构和语义的连贯性、词汇评价、翻译错误） 可懂度、忠实度和译文的可接受性

梁茂成和李刚《英汉机器翻译中人称代词的处理》 徐州师范大学外语系 汉语术语分析语，词序、虚词等来表达各种语法关系； 英语属于综合语，通过词本身的形态变化来表示 英语中人称代词的使用频率要远远高于汉语 汉语属于孤立性语言，英语为粘着性语言 原因： 1. 汉语表示所属关系的物主代词往往可以省略 2. 英语中大量使用反身代词 反身代词：（译星对反身代词处理较为得当） 1. 英语较汉语大量使用反身代词 2. 汉语反身代词具有独立的指称功能， 英语则依附于其他代词或名次， 无独立的指称功能。 英汉第二人称代词的差异 You是你还是你们？ 英语代词的预指功能 人称代词在机器翻译中的处理 1. 调整语法信息库（代词的主要作用是代替名词） 2. 条件句

自动评分技术

陆军，梁颖红，陆玉清，李斌，姚建民 《多分类器融合技术在自动作文评分中的应用》

中提出了作文分级 词汇分析一般包括词 Laufer&Nation 的 3 个 读书破万卷 下笔如有神 分类器：贝叶斯、K近邻和支持向量机 自动作文评分(Automated Essay Scoring，AES) 国外主观题自动评分系统： E-rater、IEA(Intelligent Essay Assessor)、PEG(Project Essay Grade)

国内最早涉足作文评分领域：梁茂成教授 中国学习者英语语料库(Chinese Learner English Corpus )对作文中的错误进行了详细标注、 分类和统计 作文内容的特征(作文中的单词和短语，即通常的 Uni-Gram、Bi-Gram和Tri-Gram模型) 考察作文的主题和内容 语言学特征： 浅层的语言学特征(句子个数、句子平均长度、单词平均长度、单词个数)考察作文的形式 复杂的语言学特征(作文中的语法、单词的词性、连接词、各种类型错误个数)考察作文的 语法、连贯性和错误 特征筛选：文档频率(Docume nt Freque ncy， DF )、信息增益(In formation Ga in，IG )、统计 量(Chi-square

Statistic, CHI) 文本分类算法 朴素贝叶斯(Na?/e Bayes)假定各种特征之间相互独立。性能不稳定，易受分类任务的影 响。 K近邻(K-Nearest Neighbor)要求有较高质量的训练集， K值确定比较难 支持向量机(Support Vector Machine，SVM )基于结构风险最小化理论 评价分类结果的好坏：准确率 p、召回率r和F1测度

R 二2 p r /(p r)

E-rater商用机器评分系统，准确率计入相邻分数 所有分类方法的效果都要低于它们在其他方面的分类效果 原因：四级作文本身的特点和各分数作文的篇章数的分布情况 结束语： 语言学特征更能体现作文的水平 NLP技术

曹亦微，杨晨 《使用潜语义分析的汉语作文自动评分研究》 评分方式 1. 依靠精确的分析和提取反映文章质量的指标进行评分，指标大多是语法层面上的； (PEG) 2. 另一种是整体评分，综合使用了文章的词语使用、论述结构、句法结构以及内容和语义 等方面的特征(e-rater：统计方法+自然语言处理技术)。 潜语义(LSA， late nt Sema ntic An alysis )

葛诗利，陈潇潇 《文本聚类在大学英语作文自动评分中应用》 文本聚类把作文按内容的相似程度聚集到一起， 形成一棵内密外疏的聚类树。识别跑题作文 文秋芳：“作文内容能够解释作文总体质量 56%的差异” 内容评价：采用文本自动层级聚类 优点：不需要事先基于大规模标注训练集构建评价模型

PEG侧重结构分析，较高的评分准确率，忽略内容，更多地注重表面结构 IEA只基于潜伏语义分析测量的是“文本的内容和学生作文中所传达的只是，而不是作文 的风格或语言”，适用于本族语作文（基本没有较大语言失误）一单独的潜伏语义分析用于 外语作文评分显然不够 BETSY基于文本分类技术 E-rater, IntelliMetric ,语言质量和内容兼顾，适用外语作文自动评分 读书破万卷 下笔如有神 E-rater内容分析采用了向量空间模型，作文首先转化为词频的向量，再合并语言质量得分 层级聚类：自底向上（Bottom-up合并聚类）和自顶向下（Top-down分割聚类） 常见文档聚类算法：

k-mea ns算法（分割） 凝聚层级算法（Hierarchical Agglomerative Clustering ， HAG 层级算法） 建立特征向量 TF-IDF （Term Frequency-

lnverse Document Frequency）

葛诗利，陈潇潇 《大学英语作文自动评分研究中的问题及对策》 四个难题：评分标准、针对性、通用性和人机界面的划分 作文自动评分研究使用技术： 计算机统计技术、自然语言处理技术、 信息检索技术和人工智 能技术 马希文计算机解决问题前提条件： 第一，必须把待解决的问题形式化 第二，这种问题必须是可计算的 第三，这种问题必须有一个合理的复杂度，要避免指数爆炸 语言：人工选取特征和机器统计加权 非英语专业大学生作文语言使用特征：词汇、短语、句法、搭配和错误 PEG统计文章长度、各种词类的数量、词长的变化（浅层文本特征） IEA使用词汇统计，实义词的统计 E-rater基于词汇统计（内容），浅层文本特征（语言） 把内容评分转换为词汇向量的统计比较 针对语言使用的评分，低分段评分准确率非常高，中、高分段，尤其是高分段准确率较低

梁茂成、文秋芳 《国外作文自动评分系统评述及启示》 信度（reliability ）效度（validity） PEG（ Project Essay Grade）重语言形式 实现步骤：变量提取一多元回归分析一多元回归得到的 beta值代入计算机程序换算出作文 得分 IEA （Intelligent Essay Assessor）重作文内容 矢量空间模型（Vector Space Model VSM ）过滤干扰信息，提取数据中的潜在语义结构 潜在语义结构 词汇项（即词汇）一文档矩阵 term-by-docume nt matrix

之后对矩阵进行奇异值分解（ Singular Value Decomposition , SVD ）把原来矩阵分解为三个 不同矩阵，再重建一个新的维度较少的矩阵 E-rater既重形式又重内容一一个模块结构的混合评分系统 基于线性回归模型 三个模块： 第一模块，话语（discourse）结构，即篇章结构，依靠搜索提示词（ In summary…）实 现 第二模块，句法多样性（syntactic variety ）—分析语言质量 第三模块，内容（content）分析模块，通过矢量空间模型，观察作文中是否包含了足够 的与作文题目高度相关的主题词。 不足： a） 对语言质量的分析主要考虑的知识作文的句法多样性， （语言质量的分析应该包 括：词汇、句法、语言的准确性） b） 与IEA相比，内容质量分析模块显然尚有提高的余地（ E-rater基于主题词分析 技术，IEA使用潜伏语义分析法是一种降维技术，可以有效去除文本中的干扰 信息） c） 篇章结构分析模块靠搜索作文中的 In conclusion等话语标记语，容易被考生识 破，导致不利的反拨作用（ wash back effect） 评价评分的合理：评分的效度 评分模型中的内核技术问题