教育研究中定量方法的局限性

教育研究中定量的局限性 谢小庆 北京语言文化大学 　　在教育科学研究中 ,主要有两种方法 :一 是基于经验和直觉之上的定性方法 ,一是基 于理性和逻辑之上、借助数学工具而实现的 定量方法。随着计算技术的不断发展 ,定量 方法日益得到广泛的应用。定量方法具有哪 些优越性和局限性呢 ? 对此 ,笔者试图进行 一些深入的思考。 一、定量方法是定性方法的 重要补充 定性方法是一种基于经验和直觉之上的 研究方法。在许多情况下 ,我们可以根据经 验做出正确的判断 ,采取正确的教育措施。 根据经验 ,教师知道哪些学生不易理解 , 需要反复讲解 ;知道只有保持教材的适当难 度才能吸引学生的注意力 ;知道对女生要慎 用批评 ,等等。这些基于经验的判断往往是 正确的。但是 ,由于不同的研究者各自的经 验、观点、倾向、偏好不同 ,有时候对同一问 会得到非常不同的结论。例如 ,学制是“六三 三”好 ,还是“五四二”好 ?“集中识字”的教学 法好 ,还是“分散识字”的教学法好 ? 客观性 选择题能否考察出学生的综合能力和写作能 力 ? 对于这一系列问题 ,不同的研究者的看 法相去甚远 ,甚至截然不同 ,孰是孰非 ? 仅凭 各自的经验只会争论不休。为了支持自己的 观点 ,双方都可以举出大量的个案 ,然而个案 是不足为据的 ,几乎任何一个荒谬的命题都 可能为自己找到个案的支持 ,如“牛有二个 头”,“人有三条腿”等。即使在专家意见一致 的情况下 ,也可能出现失误。“地心说”、“燃 素说”、“绝对时空观”等许许多多最终被放弃 的科学理论 ,都曾经得到专家们基本一致的 认可。 这些时候 ,就需要借助定量方法 ,需要借 助抽样调查、假设检验这样一些统计方法来 做出判定。在这种情况下 ,定量分析可以帮 助我们从各执一词的争论中摆脱出来。例 如 ,通过对题目难度、区分度的统计 ,可以对 试卷的质量作出较客观的判断。经常有这样 的情况 :统计分析发现 ,经过专家一致认可的 题目区分度很低 ,甚至出现负区分度。当结 果反馈给专家们后重新讨论时 ,专家们可能 最后一致地认为 :当初命题时忽略了某些重 要的考虑。 对于学制、教材、教法、教育测量中的许 多问题 ,如果我们仅仅停留在根据研究者个 人经验的定性研究 ,停留在缺乏说服力的个 案枚举 ,我们的研究就很难深入 ,我们就会争 论不休。这时 ,定量分析可以帮助我们从这 种各执一词的争论中摆脱出来。 二 　定量方法可能被误用 定量分析不仅可以帮助我们防止重大的 失误 ,而且可以帮助我们在互相对立和竞争 的观点中做出选择。在这些情况下 ,定量分 析具有重要的意义。然而 ,定量方法也很可 能被不适当地运用 ,从而得到非常错误的结 论。例如 ,通过对某校历届外国留学生汉语 演讲比赛获奖情况的统计分析发现 ,在获奖 者中 ,亚裔学生占 70 % ,欧美裔占 30 %。据 此 ,研究者认为 ,在汉语学习方面 ,与欧美裔 35 1998 年 　　　　　　　　　　　　　　　心理发展与教育 　　　　　　　　　　　　　　　第 1 期 　 © 1995-2004 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved. 学生相比 ,亚裔学生整体水平较高。进一步 的分析发现 ,在所有参加比赛的留学生中 ,亚 裔留学生占 90 % ,欧美裔留学生仅占 10 % , 亚裔留学生的获奖比例约为 8 % ,而欧美裔 留学生的获奖比例约为 30 %。结论完全是 相反的。 又如 ,一项关于教学方法的实验研究结 果是 :采用“结构法”进行教学的班级的汉语 水平考试平均分为 238. 89 ,采用“功能法”进 行教学的班级的汉语水平考试平均分为 242. 13。据此 ,研究者认为 ,“功能法”优于 “结构法”。这一结论也是错误的。通过对两 班学生成绩的 t 检验得到的结论是 :两种方 法没有差异。分数差异是由随机误差造成 的。 这类由于定量方法的不适当运用而得到 错误结论的例子 ,在今天的教育研究文献中 时有发现。之所以出现这类误用 ,原因就在 于未能适当地把握定量方法运用的前提条 件 ,就在于未能将定量分析建立在适当的定 性分析的基础之上。事实上 ,任何数学工具 都只有在一定的前提条件下才能应用。在自 己所研究的问题中是否具备了运用某种数学 工具进行定量分析的条件 ? 这个问题 ,只能 由研究者根据自己对问题情境的理解而做出 定性的回答。例如 ,最简单的数学工具 ——— 加法就必须在一定的前提条件下才能应用。 当我们运用加法来计算各科成绩总分时 ,就 必须满足下列两个前提条件 : ①表现在不同 科目考试中的能力具有代偿性 ,方面的 不足可以由数学方面的优势来弥补 ; ②不同 科目的考试分数之间具有等值性 ,数学的 10 分恰好可以抵偿语文的 10 分。只有在这两 个条件成立的情况下 ,才能运用加法。今天 , 由于这两个条件能否成立颇值怀疑 ,越来越 多的人对在考试成绩的计算中运用加法计算 各科成绩总分的作法提出质疑。 最简单的加法尚不能随便应用 ,其它更 复杂一些的数学工具的应用往往需要更强、 更严格的条件。定量分析如果不能基于合理 的定性前提之上 ,就会被误用或被不合理地 予以解释。 三、概率的逻辑基础 今天应用于教育科学研究的定量方法 中 ,大部分是基于概率理论之上的 ,如数理统 计。然而 ,概率理论能否应用于教育科学研 究 ,尚是一个颇值怀疑和非常棘手的问题。 何谓概率 ? 通俗讲即“重复试验中事件发生 的可能性”。对于概率概念 ,“重复试验”是一 个非常重要的前提。例如 ,只有多次重复抛 掷硬币 ,才可能得到正面朝上的概率。倘若 是不可重复的试验 ,倘若每次抛掷都会使硬 币的重量、质地、成分、形状等发生变化 ,就无 所谓概率。教育研究的对象是人 ,每个人不 仅具有不同的遗传特点 ,而且经历、需要、欲 望、情感、能力水平等各异。对不同的人进行 的试验、观察或调查能否被视作重复试验呢 ? 能否被视作与将一枚硬币多次抛掷相似的重 复试验呢 ? 这个问题的答案至少不是不言而 喻的。退一步 ,既使我们接受了对人可以重 复试验的观点 ,这种基于概率基础之上的统 计规律性能否成为关于有个性的人的教育决 策的依据呢 ? 这仍然是一个值得怀疑和需要 讨论的问题。即使根据我们的调查知道具有 某一组神经生理特点的人中有 90 %难以完 成某一水准的学业 ,我们能否根据这一研究 结果而预言一个具有这些神经生理特点的人 不能完成学业呢 ? 这里 ,人的能动性是一个 不容忽视的因素。不用说预言一个具有能动 性、选择性的人 ,即使是从大量抛硬币中得到 的统计规律 ,对于预测下一次抛掷硬币的结 果也是毫无意义的。 在将概率方法应用于教育研究时另一个 值得注意的问题是“大数定律”问题。所谓 “大数定律”是指在大量观察中得到的小概率 事件实际是不可能事件。这里 ,多大为“大 量”? 多小为“小概率”? 又需要基于对所研 究问题的定性分析 ,这又是一个定性分析与 45 1998 年 　　　　　　　　　　　　　　　心理发展与教育 　　　　　　　　　　　　　　　第 1 期 　 © 1995-2004 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved. 定量分析的连接点。对同卵双生子的研究 , 20 个样本点就可以被认为是“大量”,而对于 高考试卷的质量评估 ,2000 个样本点也未必 算“大量”。对用于静脉注射的药品 ,1 %的污 染即会被废弃 ,对于钮扣 ,1 %的次品则可能 被接受。对于一项考试 ,10 %的失误 (不够格 者被接受或够格者被拒绝)可能算是一个“小 概率”,对于一台用于阅卷的光电阅读机来 说 ,0. 01 %的失误也难以接受。(参看复旦大 学《概率论》第一册 ,240 页 ,此书一般被认为 是最具权威性的概率论教科书。) 归根结底 ,概率方法是基于归纳逻辑之 上的 ,然而 ,正如恩格斯所指出的 :“按照归纳 派的意见 ,归纳法是不会错误的方法 ,但事实 上它是很不中用的 ,甚至它的似乎最可靠的 结果 ,每天都被新的发现所推翻。”(恩格斯 , 第 206 页)对于研究死的、被动的物尚存在着 “不中用”的一面 ,对于研究能动的、有选择性 的人则具有更大的局限性。 四　显著性检验问题 在今天的教育研究中经常被运用的一种 定量分析方法是显著性检验方法 ,包括正态 检验、t 检验、X2 检验、F 检验等。不少人对 于显著性检验方法存在误解 ,误以为经过显 著性检验后科学性就得到了保证 ,自己的论 点就不可动摇了。其实 ,显著性检验只有基 于一定的定性分析之上、在一定的问题情境 之中才是有意义的 ,在许多情况下并不适用。 当我们需要对一种新的教学方法做出评 价并决定是否推广时 ,我们经常采用的方法 是比较采用新方法的实验班和采用传统方法 的对照班的学习成绩 ,并进行显著性检验。 这时 ,我们可能犯两种错误 ,一种错误是“接 受坏方法”,一种错误是“拒绝好方法”。当我 们根据考试分数作出招生决定时 ,我们可能 犯两种错误 ,一种错误是“误取庸人”,一种错 误是“错拒才子”。在统计学中将这两种错误 分别称为“第一类错误 (或 a 错误)”和“第二 类错误 (或β错误)”。基于相同数量的观测 样本 ,犯某一类错误的可能性的减少必然以 犯另一类错误的可能性的提高为代价。这很 容易理解。选择愈严格 ,就愈不容易犯 “接受坏方法”或“误取庸人”的错误 ,但就愈 容易犯“拒绝好方法”或“错拒才子”的错误。 显著性检验方法只能帮助我们将犯第一类错 误的可能性降至最小。所谓“显著性水平达 到 0. 05”是指犯第一类错误的可能性只有 5 %。只有当我们在定性分析的基础上确定 了以不惜代价地追求避免犯第一类错误为目 标、确定了“宁可错拒、绝不误用”的政策之 后 ,显著性检验方法才是有意义的。只有在 这种情况下 ,假设检验方法才能帮助我们达 到目标。在那些两种错误的危害同等重要的 情况下 ,当我们以“两种错误均应尽量避免” 为目标时 ,在显著性检验的同时 ,我们需要进 行最优势检验 ,确定我们为了避免第一类错 误所付出的代价是否太大。我们是否应不惜 代价地尽量避免第一类错误 ? 应用数学工具 的条件是否具备 ? 对于这一类问题 ,定量方 法是无能为力的。从此我们可以看到 ,只有 根据定性方法确定了目标之后 ,才是定量方 法的“起点”。 在今天的许多教育研究文献中表现出对 显著性检验的误解。最典型的错误是对皮尔 森相关系数的显著性检验。一些研究者根据 检验结果达到 0. 01 而认为“相关非常显著”。 其实 ,这一检验结果只可以被解释为“相关非 零”。对于能力性考试 ,通常要求信度系数达 到 0. 90 以。如果采用显著性检验 ,在样本较 大的情况下 ,数值为 0. 10 的相关系数也可能 达到 0. 001 的显著性水平。尽管这份试卷的 信度系数达到“非常非常显著的水平”,我们 仍然只能认为这是一份几乎毫无信度可言的 试卷。 五　相关分析 在今天的教育研究中经常被应用的一种 定量分析方法是相关分析 ,包括回归分析、因 素分析等。这些方法可以揭示出事物之间的 55 谢小庆 :教育研究中定量方法的局限性 © 1995-2004 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved. 相关关系。然而相关并不等于因果。学校早 上八点上课 ,商店早上 9 点开门 ,二者相关很 高 ,但并不存在因果关系。心脏跳动与思维 之间亦有很高相关 ,但二者亦不存在因果关 系。人类的许多误 解都是源于错误地对事 物之间的相关关系作出因果的解释。“重物 下落较快”这一错误看法就是由于人们对“质 量大”和“下落快”之间的相关关系错误地作 出了因果的解释 ;“心脏是思维的器官”这一 错误看法就是由于人们对心跳与思维之间的 相关关系错误地作出了因果的解释。 教育研究总是力图揭示出教育活动与教 育的社会成果之间的因果联系 ,从而为教育 决策提供依据。相关是因果关系的必要条 件 ,但不是充分条件。定量方法只能揭示出 事物之间的相关关系 ,但不能对这种关系做 出因果的解释。因此 ,揭示出“相关”即为定 量方法的“终点”,还需要定性的方法来继续 对这种相关关系做出 (或不做)因果的解释。 六 　结论 :注意提高研究素 养 今天 ,在教育研究中的确存在一种将定 量方法神化的倾向 ,以为一报告统计数字、一 计算相关或进行显著性考验 ,科学性就得到 保证 ,有时候 ,甚至使数学工具成为一种故弄 玄虚的装饰物 ,使一些完全不能成立的论点 借助数学的徽记而披上科学的外衣。这种倾 向不利于教育研究的深入开展。 之所以产生这种倾向 ,一方面是由于一 些研究者虽然掌握了一些数学工具 ,但缺乏 对这些数学工具的真正理解 ,以至不能正确 地判断应用这些数学工具的前提条件是否具 备 ,不能对借助这些数学工具得到的研究结 果给予合理的解释 ;另一方面 ,是由于一些研 究者缺乏教育方面的实践经验 ,在自己的研 究工作中缺乏清晰的理论假设和基于经验的 直觉。为了克服这种倾向 ,一方面 ,研究者需 要加深对现代数学工具的理解 ,不仅知其然 , 而且知其所以然 ;另一方面 ,研究者应更多地 深入教育实践 ,提高自己的理论水平和定性 分析能力。 参考资料 [ 1 ]复旦大学 ,《概率论》,人民教育出版社 ,1979 [ 2 ]恩格斯 ,《自然辩证法》,人民出版社 ,1972 (上接第 62 页) 　　1. 读题 ,找出题目告诉我们的两个条件 ,用 “———”划出来 ,找出要我们求的问题用“　　”划出 来。 2. 让学生摆出圆片表示题目意思 ,老师随着学 生的操作在黑板上图示 : 3.用线段图代替圆形 ,老师边画让学生边说边跟着 画出线段图 : 4.看着圆形图或线段图分析数量关系 ,思考解题方 法。要我们求“一共有几只羊 ,只要把 7 只和 4 只合 起来就是了。”边说边列出算式。 这样的教学方法 ,不仅是依靠操作活动来理解 解题思路 ,而且还借助语言表达与思维紧密地结合 弄清数量关系 ,从而培养和发展学生的思维能力 ,提 高学生的解题能力。 65 1998 年 　　　　　　　　　　　　　　　心理发展与教育 　　　　　　　　　　　　　　　第 1 期 　 © 1995-2004 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.