2016/11/15

举例来讲，有几个评委对某学生的英语口语进 行评定。评委A认为一个人的口语要好，必须 发音准确，而该学生的发音好，所以他给打了 个5分。评委B认为流利性最能体现一个人的口 语水平，该同学尽管发音不错，但流利性差一 些，所以她给他3分。同一名学生，让不同的 评委去打分，成绩出现了偏差。这也很自然， 原因是他们没有按照一个评定口语成绩的统一 法则（rules）去给这名学生打分，结果造成了 偏差。这个例子提醒我们，在对人的某些心理 特征，如口语表达能力、阅读理解能力等等进 行测量时，首先要制订一个便于操作的、稳定 的法则或标准。这样得到的测量结果才可靠， 才具有可比性。
Why Tests? In a Classroom
2016/11/15
Why Tests? Outside the Classroom

For the purpose of




selection and admission (Screening/Admissions Test) Assigning students into different levels (placement tests). Examining testees’ language ability (proficiency test). o learn a language (aptitude test). A boundary to determine in or out For both CRT and NRT
2016/11/15
(1)行为样本

语言考试的目的是要测量受试者的语言能力。语言能力是无形的， 如何去测量？只能测量它的有形表现，这里所说的有形表现，是 指语言表现，如说出来的话，写出来的句子，对考试题目所做的 各种反应等等。这些行为，都是无形的语言能力的有形表现，用 心理学术语叫“表征”（manifestation）。所谓行为样本，是指 对语言能力表现行为的有效的抽样。我们知道，一个人的语言能 力的表现行为会有各种各样的形式，考试时不可能也没有必要把 它的全部表现行为都测到，只能选取一部分有代表性的抽样进行 测量，然后据此对受试者的语言能力做出推测。所以，测验只选 取一组有代表性的行为来考察个体在相应行为领域的行为特征。 当个体在某一测验中的反应很恰当地反映出测验所要测的东西时， 该测验就为我们提供了有用的信息。因而可以说构成测验的行为 样本是相应行为领域的一个有效的代表。

Cut-off score

2016/11/15
Evaluation with Tests


Uses (purposes) Different types Characteristics of a good test

Validity, reliability, practicality, backwash
2016/11/15
Measurement, Test and Evaluation
测量、考试与评估
2016/11/15
Measurement

Quantifies the characteristics (both physical and mental) of persons

Examples: height, motivation, aptitude
2016/11/15

在谈到评估与测量及考试的关系时， Bachman（1990）指出，在对个体（学 生）做出评估时，我们可以从质量和数 量两个方面进行描述，或只描述其中一 个方面。所谓质量方面的描述是指对学 生的行为做出定性的描述，如某某学生 的口头表达能力优秀，书面表达能力优 良等；数量方面的描述则是指某次测验 的分数等。对于考试、测量及评估三者 之间的关系，他用下面的图来表示。
2016/11/15
(3)标准化的测量

标准化的测量是指测验在编制、实施、记 分及分数解释等方面有一套严密系统程序。 只有这样，考试才有统一的标准，使不同 人的测量结果才有可比性。同时，可以减 少无关因素对测验结果的影响，从而使之 更为准确、可靠。凡是不标准化的测量， 都没有可比性。
2016/11/15
2016/11/15
Test


Reading/writing tests A procedure designed to get specific samples of a person’s ability A measurement instrument
2016/11/15



考试的定义为“用来获取某些行为的方法，其 目的是从这些行为中推断出个人具有的某些特 征”。 Anastasi（1982）认为，“测试实质上是对行 为样本所做的客观的标准化的测量。” 考试包含以下三个基本要素： ①行为样本 ②客观的测量 ③标准化的测量
2016/11/15
Functions of Tests（考试功能）

Pedagogical Functions (教学功能): To reinforce learning and to motivate the student or primarily as a means of assessing the student’s performance in the language.

Traditional paper-and-pencil tests Format (content and type of questions)
2016/11/15
Evaluation without Tests

Alternative assessment
2016/11/15
③法则

法则是指测量所依据的规则和方法，是测量的关 键。法则不好或不可靠，得到的测量结果就会出 偏差，失去测量的意义。简单来说，尺子不准， 测量的结果就无法使人信服。对客观世界的物体 进行测量时，由于有公认的测量法则或尺度，如 测量物体的高度、重量等，一般不会出现大的偏 差。而对人的某些特性（心理特征）进行测量时， 则往往会出现较大的偏差。
2016/11/15
(2)客观的测量


测验的客观性在什么程度上可为公众认可？这 就牵涉到对测验客观性程度的几个评价指标： 题目质量分析，包括难度和区分度，这是筛选 题目以构成一个好测验的基础。信度，指测验 结果的可靠性程度；效度，指测验结果的有效 性程度，这是评价测验质量最重要的指标。 因此，所谓客观的测量是指测量的标准是否符 合实际。对于一项考试的客观性程度可以从这 几个方面去评价：⑴考试题目的难易度和区分 度如何；⑵考试结果的可靠性程度如何？⑶考 试结果的有效性如何？这三项指标是衡量一项 测试质量的重要指标。
2016/11/15
测量、考试与评估之间关系示意图
Evaluation
Test
Measurement
2016/11/15
评估
2016/11/15

从图中可以看出，我们在对某教育目标 （或学生的行为）作出评估时不一定用 到测试或测量（如面积1 所示），这 种评估属于质量评估，或叫定性评估， 如指出学生在学习方面存在的问题。有 时在作出评估时只需测量，而无需测试 （如面积2 所示），对学生的口头表 达能力定出级别就属于这种性质的评估。 如果要检查学生学习的进步情况，通常 就要对学生实施测试，这又是另一种性 质的评估，即只通过测试对学生的成绩 作出评估（如面积3 所示）。
2016/11/15
入学
课程
结业
2016/11/15
入学 考试 课程 考试
结业
2016/11/15
教学功能
教师 学生 家长 管理部门
调 整 教 学 计 划
制 订 教 学 计 划
了 解 实 际 教 学 效 果
反 映 学 习 进 展
反 映 学 习 上 存 在 的 问 题
了 解 子 女 学 业 进 展
2016/11/15
②指派数字或符号

所谓指派数字或符号，就是用数字或符号来代表 某一事物或事物的某一属性的量。如张三在本次 阅读考试中得了87分，李四得了92分，我们说李 四比张三多考了5分。数字本身没有意义，只是一 种符号。我们用它来代表考生的阅读成绩，这时 它就变成了量化的数，可以对其进行解释和分析。 在一定的条件下，还可以对数据进行运算从而对 事物的属性进行推测。

2016/11/15

测量这一定义包含三个要素： ①事物及其属性 ②指派数字或符号 ③法则
2016/11/15
①事物及其属性

这是测量的对象或目标。对桌子的高度进行测量， 属于对物体进行测量，其属性——高度，是可以 观察到的，可以进行客观测量的。在外语教学领 域，我们感兴趣的是学生的语言能力，而学生的 语言能力属于人的心理特征，是无法直接测量的， 但是人的心理活动会在人的具体活动和行为中体 现出来，所以只能通过测量其外显行为或外在表 现特征来推论一个学生语言能力的高低。
教 学 评 估
课 程 设 置 评 估
2016/11/15

Why tests?

In a classroom Outside the classroom


Evaluation with tests Evaluation without tests
2016/11/15


For teachers’ teaching Evaluating on the effectiveness of syllabus, teaching materials, texts. Making adjustment For knowing more about the students Discuss learners’ abilities in search of suitable texts Diagnose learners’ strengths/weaknesses (Diagnostic test) Make sure the students keep up with the teaching (Progress Test) See if the student is ready for the next level (Achievement Test) Motivate students to study