【精品】第七章 教育实验法57

【精品】第七章 教育实验法57 《教育研究方法》教学辅导,六, 第七章 教育实验法 第一个问题 实验法概述 实验研究方法初始于自然科学的研究。我国古代的《墨经》中记载的“针孔成像”、古希腊阿基米德计量“王冠”含金量，都是公认的古代科学实验的典型。近代以来，实验法逐渐用于社会科学的研究。在教育领域，自从1768 年裴斯泰洛齐创办“新庄”实验学校，许多教育家相继创办各种实验学校，特别是拉伊和梅伊曼把实验科学的实验模式引入到教育研究中来，推动了在教育教学各个方面进行实验研究的开展。时至今日，实验研究方法成为教育科学研究的重要方法之一。 一、 实验及其基本要素 介绍定义、三个要素、和实验的基本逻辑。 1. 实验即实验法的定义 实验和实验法可以从不同的方面和角度给予说明。一些有特点的定义如下: 1由研究者对一个变量的操纵和对结果的有控制的观察和测量所构成的任何研究。 一种在有控制的条件下可重复的观察;其中一个或更多的独立变量受到控制，以使建 2 立起来的假设或者假说所确定的因果关系有可能在不同情景中受到检验。 实验研究是一种研究情境，在此情境中至少涉及一个自变量，即实验变量，他受到研 3究者的精心处理或控制。 教育实验研究方法是为了解决教育中的问题，根据一定的教育理论或假设组织有计划的教育实践，经过一定的时间，就实验效果进行比较分析，从而得出有关实验因素的科学结 4论。 教育研究方法是研究者按照研究目的，合理地控制或创造一定的条件，人为地变革研究对象，从而验证假设探讨教育现象因果关系的一种研究方法。教育实验，或许是变化某个条件而使其余条件保持恒定，或许是让多个条件同时变化，分析这些条件的影响以及它们之 5间可能的相互作用。 实验的一般定义:一种经过精心的，并在高度控制的条件下，通过操纵某些因素，来研究变量之间因果关系的方法。实验的基本目标是决定两个变量之间是否具有因果关系。 一个变量(即自变量)，以观察和一般来说，在实验过程中，研究者通过引入(或操纵) 分析它对另一个变量(即因变量)所产生的效果。从方法论上看，实验是定量研究的一种特定类型，它比其他几种教育科学研究方法更直接地基于实证主义的背景和原理。尤其是在检验变量之间的因果关系方面，实验研究具有最突出的效用。因为，判断因果关系的三个条件在实验研究的方式中，可以得到最为充分的满足。 2. 实验法的三个要素 作为一种特定的研究方式，实验法有着三对基本要素。分别是: ?实验组与控制组; ?前测与后测; ?自变量与因变量。 任何一项实验研究，一般都会涉及到这些基本要素。可以说，实验研究的这三种基本要素，构成了实验研究所具有的独特的语言。 (1)自变量与因变量 自变量是引起其他变量变化的变量，故也称作原因变量。而因变量则称作结果变量。 第 1 页 共 23 页 《教育研究方法》教学辅导,六, 在实验研究中，自变量又称作实验刺激(experimental stimulus)，而因变量则往往是研究所测量的变量。实验研究的中心目标是探讨变量之间的因果关系，其基本内容是考察自变量对因变量的影响，即考察实验剌激对因变量的影响。与一般意义上的自变量有所不同的是，实验中的自变量通常都是二分变量，即它通常只有两个取值:有和无，即给予实验刺激或不给予实验剌激。 (2)前测与后测 在一项实验设计中，通常需要对因变量(或结果变量)进行前后两次相同的测量。第一次在给予实验剌激之前，称为前测(pretest)。第二次则在给予实验剌激之后，称为后测(posttest)。研究者通过比较前测和后测的结果，来衡量因变量在给予实验刺激前后所发生的变化，反映实验刺激(自变量)对因变量所产生的影响。这种测量既可以是一次问卷调查，也可以是一项测验。 (3)实验组与控制组 实验组(experimental group)是实验过程中接受实验剌激的那一组对象。即使是在最简单的实验设计中，也至少会有一个实验组。控制组(control group)也称为对照组，它是各方面与实验组都相同，但在实验过程中并不给予实验刺激的一组对象。控制组的作用是向人们显示，如果不接受实验刺激那样的处理，那么将会怎样，与实验组形成比较。在实验研究过程中，研究者不仅观察接受刺激的实验组，同时他们也观察没有接受实验剌激的控制组。并通过比较对这两组对象的观察结果，来分析和说明实验刺激的作用和影响。 3. 实验的逻辑和实验的条件 (1)实验的逻辑 如果我们根据某种理论命题得到两个变量之间存在因果联系的假设，或者我们根据经验事实和主观判断，推测现象X是造成现象Y的原因，即: X?Y。为了证明这一假设，我们首先观察Y的变化情况。即先测量在没有受到X的影响之前，Y的情况如何，然后，通过操纵某些条件，引入被看作自变量和原因的实验刺激，即引入X，接着再对引入X以后Y的情况进行测量，并比较前后两次测量的结果。如果前后两次的情况发生变化，则可以初步认为X是导致Y变化的原因，即检验了X?Y。这可以说就是实验研究的最基本的分析逻辑。如下图所示。 当然，这只是一种最简化的情形，同时，它也是一种最理想的情况。实际的教育科学实验的形式要复杂得多。一般情况下，任何两种事物或现象之间的关系，都会同时受到若干其他事物或现象的影响。要说明这两种事物或现象之间存在因果联系，实际上就意味着，人们要排除其他相关事物或现象造成因变量发生变化的可能性，即要排除其他各种因素造成因变量Y在前后两次测量中所得的结果不同的可能性。 可能性最大的一个影响因素是前测的影响，即人们第一次对因变量Y进行测量的行为本身对因变量就已经产生了影响。它使得在人们引入实验刺激(即引入自变量X)和在对因变量进行第二次测量(即后测)之前，因变量就已经发生了变化，因而人们带着前测情况的影响进行后测，从而使后测结果产生变化(或有所不同)。正是为了排除这种因素造成结果变化的可能性，需要有一个控制组。对这个控制组来说，它也接受前后两次对因变量Y的测量，但却不对其实施实验刺激，即不引入自变量X。这样，在“实验组和控制组这两组对象是相同的”的前提下，人们就可以从实验组前后两次测量之差中，减去控制组前后两次测量之差，从而得到仅由自变量X所产生的影响。这就是为什么实验研究的分析逻辑中必须有“实验组”、“控制组”这一对基本要素的原因。 第 2 页 共 23 页 《教育研究方法》教学辅导,六, 注意上面所说的“在‘实验组和控制组这两组对象是相同的’前提下”这句话的含义，自然就会提出另一个重要的问题:实验组和控制组的对象是否相同?以及如何使得或保证这两个组的对象相同?如果实验组和控制组这两组对象本身就不同，那么，对这两组对象进行前测和后测所得到的结果也会不一样，他们之间的测量结果实际上是不可比的。换句话说，由两组对象前后测之差相减所得到的，并不就是实验剌激X的影响，其中还夹杂着由两组对象本身的差异所造成的影响。正是为了排除这种影响，实验研究又必须面对实验对象选择的问题。 通过一个假设的例子来具体说明实验研究的基本逻辑，以及实验的三组基本要素在实验中所扮演的角色。假设，研究者对某种新的教学方法的效果感兴趣，即他希望探讨:“新的教学方式”(自变量)与“学生成绩提高”(因变量)之间的是否存在因果关系,他选择了两个各方面情况都差不多的班级，并在开学初对这两个班级的学生进行了相同科目、相同试卷的测验(前测)。然后，在其中一个班级(实验组)按一种新的教学方式进行教学(给予实验剌激)，而在另一个班级(控制组)中，仍按照原来的教学方式进行教学。学期末，他再对这两个班级的学生进行第二次相同科目、相同试卷的测验(后测)，并对测量结果进行比较。如果两班学生后来的学习成绩相差无几，则说明新的教学方式(实验刺激)并没有起作用;如果只有实验组的成绩提高了，而控制组的成绩没变化;或者虽然两班学生的成绩都提高了，但实验组学生的成绩提高得更多，则可以看作是新的教学法所起的作用和产生的影响。 (2)实验的条件 进行一项具体实验必须满足这样几个基本条件: ?必须建立变量之间因果关系的假设。实验研究的目标就是检验和证明因果关系。因此，变量之间因果关系的假设是实验研究的逻辑起点。在进行一项具体实验时，研究者必须事先建立起两个变量之间因果关系的明确的假设。同时，研究者应了解他所要引人的自变量是什么，他要测量的因变量是什么，特别是要清楚如何引入作为自变量的实验刺激。 ?自变量必须能够很好地被“孤立”。这即是说，所要引入和观测其效果的变量必须能够与其他变量隔离开，即实验环境能够很好地“封闭”起来。在许多实际研究中，这一点往往是最难做到的。比如，如果研究者希望研究电视节目对儿童行为的影响，他就必须从儿童所受到的家庭影响、学校影响、同龄群体影响和其他大众传媒影响中，严格地“孤立”出“电视的影响”这一因素，显然，这在实践上常常是相当困难的。 ?自变量(实验刺激)必须是可以改变的，同时也是容易操纵的。最简单的改变是“有”和“无”，对应的操纵则是“给予实验刺激”和“不给予实验刺激”;更为复杂的改变则是程度上的变化，比如刺激程度的“强”、“中”和“弱”以及刺激时间的长短等。 ?实验程序和操作必须能够重复进行。实验作为教育科学与自然科学在研究方法中最接近，而且程序和操作也最严格的一种研究方法，可重复性是必须具备的重要条件之一。从另一个角度说，实验的可重复性也是实验结果所具有的确定性(或信度)的重要基础。 ?必须具有高度的控制条件和能力。对实验对象(包括实验组和控制组)的严格控制，以及对实验环境的高度把握，共同决定着实验研究的结论的准确程度。可以说，控制是实验研究的本质特征，没有控制就没有实验。因为根据实验的基本逻辑，如果研究者在实验中缺乏适当的、准确的控制，他就无法确定实验所得到的结果究竟是由于他所假设的因素(自变量)所导致，还是由于一些其他未能加以控制的因素所导致。 二、实验的分类 1.实验室实验与实地实验 严格的实验研究通常在实验室内进行，当然实验也可以在现实社会生活中进行。前者称为实验室实验(laboratory experiment)，后者称为实地实验(field experiment)。在心 第 3 页 共 23 页 《教育研究方法》教学辅导,六, 理学中，实验室实验的例子更多。例如，研究者希望探讨“群体的一致性”对人们的行为所形成的压力和影响。实验在一个专门的实验室进行。每次安排四名实验对象进入实验室。研究者首先告诉实验对象他们正在参加一项有关观察和判断的实验(实验的表面目的)。黑板上共画有四条直线。上面的三条竖线由短到长，差别明显。下面的一条横线与三条竖线中长短居中的那条相等。研究者逐个询问实验对象，“三条竖线中哪一条与横线相等?”第一个回答:“与最长的那条竖线相等。”第二个、第三个实验对象也做出了相同的回答。这时，研究者又问第四个实验对象。这位实验对象从一开始就觉得横线与中间那条竖线等长，可随着前面一个个回答者的回答，他开始出现动摇，并最终在轮到自己回答时，也违心地做出了与前面三个实验对象一致的回答:“与最长的那条竖线相等。”实际上，前三个实验对象都是研究者的同谋，他们故意做出与事实不一致的回答。此实验研究的实际目的是，考察最后回答问题的那些实验对象是否会屈从于群体的规范。 在实验室实验中，实验背景和变量都相对容易控制，实验环境可以较好地“封闭”，实验者能够比较清楚确切地观察到自变量对因变量的影响。这是实验室实验的主要优点。但实验室实验在实验内容上局限性比较大，即许多教育研究者感兴趣的内容常常无法在小小的实验室中人工地制造出来。与此相联系的另一个缺点是，实验室实验的结果在推广性、普遍性和概括性上往往较差。原因之一是较多的实验室实验都是以一定区域学生的有限取样为实验对象，而他们与众多的不同区域的学生之间存在着许多差别。其二是实验室的环境与现实的教育环境之间的差别也很大。而实地实验中，研究者可以在真实的教育环境背景中观察到学生自然的反应。但同时研究者却又常常难以对众多有可能影响因变量的实验背景、实验条件进行控制，难以孤立出自变量的独立影响。他所能作的工作仅仅是观察发生了什么事情，即仅仅是对他无法控制的现象所产生的可能的影响进行测量。 2. 实验和准实验 实验设计必须具有一些必备的条件，例如，随机指派实验对象以形成两个或多个相同的组，前测和后测，实验环境的封闭，实验刺激的控制和操纵等.这样的实验通常称为标准实验.然而，对于教育研究来说，进行类似于自然科学中、或者心理学中常见的诸如实验室实验那样的十分严格、十分完备的标准实验的可能性不大。教育研究的对象和内容常常在许多方面限制了这种严格的实验设计在现实中的应用。例如，他们有时不能完全控制对自变量的操纵，有时他们仅仅只能进行后测，有时他们又不能将被试随机分配到不同的实验条件中。总之，他们常常无法对实验环境进行高度的控制。 上述各种缺乏实验设计中一个或多个“条件”或“部分”的实验，就被称做“准实验设计”(quasi-experimental designs)。这一概念是D.T.坎贝尔和J.C.斯坦利于1966年首创的。“准”是“类似于”、“接近于”、“几乎是”或者“半”的意思(有的著作中将其直接译为半实验)。D.T.坎贝尔和J.C.斯坦利指出，通过仔细地选择被试群体和测量方法，人们可以建立“在产生正确因果推论的能力上与真实实验相近的研究设计"。因此，准实验设计是在更好的实验设计无法实行的时候所使用的有实用价值的设计。 从变量分析的角度来看，准实验设计可以说是处在以相关分析为特征的调查研究与以因果分析为特征的实验研究之间。准实验设计有以下几种常见类型: (1)“具有不等同组的仅有后测的设计。”这种设计有一个具有实验刺激和仅有后测的实验组，一个仅有后测的实验组。实验组与控制组之间并不是具有相似性或相同性，即两组不等同;二是对使实验刺激缺乏控制。 (2)“有前测和后测的单组设计”。这种设计仅有一个实验组，有前测和后测，也有实验刺激，但是无控制组。 (3)“仅有后测设计的单组设计”这种设计是最简单的实验设计，它比单组设计的组成部分更少，只有实验刺激和对实验组的后测。 第 4 页 共 23 页 《教育研究方法》教学辅导,六, 3.双盲实验 所谓双盲实验(double-blind experiments)，指的是在一项实验中，实验剌激对于实验对象和参与实验的观察人员来说都是未知的。即究竟是实验组还是控制组被给予了实验刺激，参与实验的双方(指实验对象和实验人员)都不知道，实验剌激是由实验人员和实验对象以外的第三者任意分派和给定的。为什么要采用双盲实验呢?先让我们来看看这样一个例子。心理学家罗森塔尔为了研究教师的期待对学生表现的影响，在一所小学一至五年级的学生中进行了一项实验。他先对全体学生进行了语言能力和思维推理能力的测验，以了解学生的基础。然后，他随机地从每个年级的学生中抽出20%的学生作为教师期待的对象。他告诉教师说，这20%的学生有可能比其他学生学得更好(即更有发展潜力)。其实，这20%的学生与其他80%的学生的能力和发展潜力相当。当教师对全体学生进行了八个月的教学之后，研究者又对全体学生进行了一次测验。结果发现，被教师期待的这20%的学生，其成绩全都显著地提高，教师对他们的评语也比其他学生好。这一实验表明了教师的期待对学生发展所具有的作用和效果。 三、教育实验研究方法的优点和不足 1. 教育实验研究方法的优点 (1)教育实验研究法是教育科学研究中建立因果关系的最好方法 实验研究法在建立因果关系方面而论，是优于其它方法的，因为，文献法、调查法、内容分析法等研究方法，在多数情况下是横向进行的，而非在整个时期内进行的，但实验研究方法一般都是纵向的，尽管时间可能很短，但是自变量与因变量之间也有一个时间的先后问题，它为研究实验因子在整个时期的变化提供机会。此外，在严格控制无关因素对因变量影响方面，实验法是最好的。例如调查研究一般对环境中的干扰因素难以控制，观察法研究虽然常常是纵观地进行的，但一般不能控制外部因素对因变量的影响，也不大可能准确地测量因变量的变化;文献研究有时是纵贯的，但一般不能控制外部因素对因变量的影响，也不能准确地测量因变量的变化;文宪法研究有时也可能是纵贯的，但也大可能进行控制。一个真正的实验，在控制方面是较好的，控制对于资料分析和假设检验都具有重要的效果。 (2)获得自然条件下遇不到或难以遇到的情况或情境 它可以使研究者获得自然条件下遇不到或难以遇到的情况或情境，可以扩大研究的范围和和排除或抑制某些对研究有不利影响的内容。它使研究者可以在多种不同的情况下或情境中，研究教育问题。 (3)可以重复验证 在实验中，通过人为地改变条件，可多次获得同一状态下的某些现象，因此它比采用观察法、调查法等能更加确切地研究这些现象。 (4)提高研究的准确性和精密度 实验使研究者有可能准确地、精细地、分别地研究事物的各方面或组成部分，比较容易观察某些特定因素的效果。进行实验室，可以有计划地控制现象和环境，造成便于精确测量和运用机械方法纪录的条件，使研究更为精密。 2. 教育实验研究方法的缺点: (1)它需要花较多的人力，有时往往受到实验设备，以及其他实验条件的限制。 (2)同时，对实验所需要的现象和环境的控制难度大。教育实验的对象是活生生的人，要像自然科学的实验室实验那样实行严格的控制是不可能的。 (3)它对进行实验的或参加实验的人员都有一定要求，有的实验要求试验者熟练地掌握实验法的有关技术，并要求训练有素。有的实验还需要有关单位、学校的配合和协助方能 第 5 页 共 23 页 《教育研究方法》教学辅导,六, 进行。 正是由于这些原因和限制，在教育研究中，实验研究法的应用不如其他研究方法广泛。 第二个问题 影响实验的因素和实验的控制 一、效度问题 进行实验设计，首先必须要考虑实验效度。所谓效度，就是指实验设计能够回答要研究的问题的程度。实验效度一般有两种:内在效度和外在效度。在实验过程中，这两种效度可能受到许多因素的影响。 1. 内在效度 内在效度(internal validity)指研究结果能被明确解释的程度。实验者所操纵的实验变量对因变量所造成的影响的真正程度。实验内在效度高低，取决于对无关变量控制的程度。控制的越好，实验的效果越能解释为由实验处理所造成.反之，控制的越差，实验结果越无法解释。其结果究竟是由实验处理所产生，还是由其他无关因素所导致的，将难以确定。 对于影响内在效度的因素，美国学者坎贝尔和斯坦利( Cambell & Stanley ，1963) 6认为有八项因素是影响内在效度的无关变量。 (1)历史(history)(或同时事件)。 假定研究者所用研究实验设计为: O X O12 即在给予实验处理(X)之前进行测验(O)，实验处理(X)之后再进行测验(O)，自12O至O这段期间内，影响因变量O的因素，除了X之外，可能还有某些特殊事件。例如，122 研究者想试验一种新的阅读教学方法的效果，先对一组受试实施阅读测验，经过一个学期的新的阅读方法教学后，再使用同样的阅读测验测量他们的阅读能力。结果发现后一种测验的分数显著高于前一测验的分数，因此，研究者就下了这样的结论:新的阅读教学方法是较好的方法。这个结论可能不正确，因为在实验进行期间，一些影响因变量的事件可能和实验处理同时发生作用，从而混淆了实验结果。例如，学校图书馆在实验期间购进了大量趣味性强的读物，引发学生的阅读兴趣;或学校正巧在该期间开展阅读竞赛活动，调动起学生的阅读热情;甚至，学校平时的正规教学也可能介入影响。所以，阅读能力的增加，不能认定为单纯由实验处理所导致。一般来说，实验时间越长，实验处理以外的其他事件的影响的可能性就越大。 (2)成熟(maturation) 受试者在实验期间，不论生理或心理的都会产生变化。例如，变得更成熟、健壮、疲劳、饥饿、分心或没有兴趣等，这些改变都会影响实验结果。前面提到的新阅读教学方法实验的例子中，受试者也会因为年龄增长而在认识能力方面的自然发展和成熟，或词汇的自然增长，形成干扰实验处理的效果，使阅读能力的提高，难以单纯归因于新的阅读教学方法。 (3)测验(testing) 许多教育实验研究为了比较实验前后的情况，往往在实验处理之前进行测验，但前测的经验常常有助于后测分数的提高，尤其是前后测验的题目基本相同时。因为，受试者在经过前测之后，会熟悉测验的技巧和内容。所以，即使没有实验处理的效果，也可能因前测的经验的影响，导致后测分数的提高。 (4)工具(instrumentation) 在测量过程中，测量工具(例如，试卷、仪器等)不同，者身心发生变化(例如，评卷者在评价后测时，变得比前测时较为疲劳、粗心或严格)，也可能改变实验的结果。还以上述新阅读教学方法的实验为例(O X O)，如果前测的试题比后测的试题容易，则12 阅读能力的变化有可能是测量工具不同引起的结果，而非实验处理的效果。同一主试者，对 第 6 页 共 23 页 《教育研究方法》教学辅导,六, 实验处理后的评价，可能会引起对实验较为熟悉，或更为了解实验的目的，或因疲劳与厌烦，而改变评价的标准，结果导致实验效果受到影响。 (5)统计回归(statistical regression) 统计回归现象指受试者的测量分数在第二次测量时，有向团体平均数回归(趋近)的倾向。换言之，高分组的手势者在第二次测量时，其分数由于向平均数回归而有降低的趋势，但是低分的受试者，其分数却有升高的趋势。在有前后测的实践中。若以极端分数(高分和低分组)的学生为对象，容易出现统计回归现象。 (6)差异的选择(differential selection) 由于为用随即抽样和随即分派之故，所选择的两组或几组受试者，在未用实验处理之前，本来各方面能力有所偏差或不相等，那么实验结果的两组成绩不同，就不能说这种差异是单纯由于实验处理所造成的。所以，在采用两组或多组的实验研究中，研究者必须可考虑不同组别受试者在各项特质(实际素质)上的是否一致。如果组别之间受试者的特质不同一致，实验结果中出现的差异就有可能是由原来研究组之间所存在的差异所造成的，而非实验处理的结果。 (7)受试者的流失(experimental mortality) 研究样本在实验期间的流失(例如，迁居、退学、死亡等)，有可能使实验结果难以解释。例如，研究者随机分派两组小学一年级新生进行某一新课程的新方法教学研究，假定实验一年期间，不少智力低的学生从实验组退出，而控制组却无此现象，研究结果如发现实验组成绩优于控制组，此结果很可能不是因实验处理所造成的，而是因实验组多数低能力的受试中途退出实验的结果。当实验组和控制组有不同比率的受试退出实验室时，就会导致实验结果的偏差。虽然，两组都是经过随机抽样和分排而得到的，而由于不同比率的受试者退出实验中，所剩下的样本可能有异于原来的无偏差的样本。 (8)选择与成熟的交互作用(selection-maturation interaction， etc.) 前面所述七项因素，因彼此交互作用，将是构成影响内在效度的另一个因素。选择与成熟的交互作用便是常见的例子。例如，研究者要检验某心理治疗方法的效果，分别选择一些有心理异常状态的学生为实验组，选择一些心理正常的学生为控制组，在实验处理前，两组均作心理测验，测验表明，异常组的异常倾向分数比正常组的该项分数高的多。在异常组实施异常心理治疗后，再对两组进行心理测量，发现异常组的异常倾向分数大为降低，或接近正常组的该项成绩分数。 对这种现象的分析认为，有可能不是心理治疗所发生的实验处理效果，而是因为选择了一组有自然恢复现象的异常组与一组无自然恢复现象的正常组所造成的。异常组与正常组本来就不同，这是“差异的选择”的因素;实验处理后，异常组发生了自然恢复，正常组则无，这是“成熟因素”;这两种因素造成了不平行的发展曲线，即选择与成熟的交互作用因 7素的影响。 第 7 页 共 23 页 《教育研究方法》教学辅导,六, 2. 外在效度 外在效度(external validity)指实验结果的概括性和代表性。换言之，就是指实验结果是否可以推论到实验对象以外的其他受试者，或实验情境以外的其他情境。一个实验越能实现这个目标，就表示该实验越有良好的外部效度。如果用于男生实验的结果，只适用于中学生男生，而不能推论到女生，用于中学生的实验的结果，只适用于中学生，而不能推论到小学生，那么，这个实验设计的外部效度(群体效度)就比较低。如果在试验室里实验的结果，只是用于实验室环境，而不能推论到日常生活情境，在城市实验的结果，只适用于城市，而不能推论到农村，这个实验设计的外部效度(生态效度)也不高。 美国学者坎贝尔和斯坦利( Cambell & Stanley，1963)认为有四个因素是影响外在 8 效度的无关变量。 (1) 测验的反作用或交互作用效果(reaction or interaction effect of testing) 测验的反作用指前测对后测的作用;测验的交互作用，指前测与后测的交互作用。有前测经验容易造成后测成绩好。在有前测和后测的实验设计中，前测的经验往往会限制研究结果的推论性，因为，由于受实验处理具有敏感性，平常情境下未曾注意到的问题或现象，这时变得更加敏捷和警觉，以至实验效果可能部分来自前测的经验所产生的敏感性。平常情境下未曾注意到的问题或现象，这时变得更加敏感和警觉，以至实验效果可能来自于前测经验所产生的敏感性。例如，研究者欲了解一周的政治理论学习对学生政治理论学习的态度改变的效果，学习之前，如先测量学生对政治学习的态度，则由于这一测验的影响，学生在一周的学习期间，特别集中注意学习和前测经验的影响有关的问题和内容，结果导致测验成绩有很大的改变。这种改变可能是前测所产生的敏感性和政治理论学习的交互作用结果(因为前测使学生对政治理论的学习更容易引起警觉和重视)。但在没有前测的实验情境下的一周的政治学习，可能就不会有这样好的测验成绩。因此，有前测的实验结果，只能推论有前测经验的情况，而不能推论到其他没有前测经验的团体中去。 (2)选择偏差与实验变量的交互作用效果(interaction effects of selection biases and experimental variable) 当研究者选择一些具有独特心理的特质的受试者作实验时，选择偏差与实验变量的交互作用效果就容易产生。因为这些独特的心理特质，有利于对实验处理造成较佳的反应。例如，如果选择一些具有高智力的学生，进行发现式的教学与传统式教学比较，实验结果发现前一种教学法优于后一种教学法。但是这一结果不能推论到实验以外的其他一般的学生中去。因为参加实验的对象，具有高智力的独特心理特质者的学生(选择偏差)，他们也许比这种特质低的学生(例如，低智能的学生)，更能从发现教学法(实验变量)获益。如果将这种结果随意推广到智力一般或较低的学生，显然会造成推论的错误。 (3)实验安排的反作用效果(reactive effects of experimental arrangements) 由于实验情节的安排，受试者知道自己正在被观察或正在参加实验，他(她)所表现出来的行为，通常与他(她)不知道在正在被观察或不是参加实验时，有很大的不同。这时，他们往往可能为投实验者所好，而改变正常的行为方式，努力表现试验者所期望的行为，以获得实验者的欢悦。但受试者在非实验情境的表现，可能遇此完全不同。例如，学生知道自己被选择在参加一项新的教学方法的实验，因而在实验期间表现出比平时更高的兴趣和动机，更大的学习主动性和积极性，结果使实验效果产生很大的改变。由此可见，在实验情况下所得的结果，可能和自然情境下的结果大不相同，这就是为什么实验结果常不能适用于日常生活情境的原因。 (4)多重实验处理的干扰(multiple-treatment interference) 当同样的受试者重复接受两种以上或多种实验处理时，由于前面的处理通常不易完全消失，以至几项实验处理之间会产生干扰的作用。因此，这种实验的结果，只能推论到类似 第 8 页 共 23 页 《教育研究方法》教学辅导,六, 这种重复实验处理的受试者，而无法应用于只有一种实验处理的情况。例如，实验集中学习法、分散学习法、整体学习法和部分学习法的效率时，让每位受试者重复采用四种方法，如果发现其中的整体学习法的效果最好时，研究者并不能将这种结果推论到仅仅接受一种整体学习法的处理情境，因为整体学习法之所以取得良好的效果，可能是和其他的三种方法共同交互作用的结果。 综合上述，实验的内在效度逾高，其结果愈能确认是由实验处理所造成的;而实验的外在效度逾高，其结果的推论范围就愈大。因此，实验的设计必须重视这两种效度。但是在实验情境中，要同时十全十美兼顾这两种效度是很难做到的。一般，基本研究比较重视内在效度，而应用研究则比较重视外在效度(在不太影响内在效度的情况下) 二、实验控制的两个重要内容 1. 寻找两组相同的对象 根据实验研究的分析逻辑的要求，必须有两组各方面都一样的对象。在实际研究中，研究者为了创造出两组相同的对象，往往采用两种方法:一是匹配二是随机指派。 (1)匹配 匹配(matching)指的是依据各种标准或特征，找出两个完全相同或几乎完全相同的实验对象进行配对，并将其中一个对象分到实验组，而将另一个对象分到控制组的方法。在心理学的实验中，这种方法比较常见。例如，要进行一项有关小学教育的实验研究，需要选择两组“相同的”学生作为实验的对象。可以先对某一个年级的全体学生进行一次智商测验。从学生的智商测验得分表中，发现有两个(或者多个)学生的智商分数为108，就将这两个学生作为一对，并将其中的一个分到实验组，而将另一个分到控制组。同样，又发现有两个(或以上)的学生智商分数为112，也照样一个组分一个;继续找出这样具有相同智商分数的学生对子，同样将他们分别分到实验组和控制组，直到找满实验样本所需要的数目为止。用实验的语言来说，这样做就是“在智商这一变量上对两组学生进行了匹配”。应该指出的是，按照上面所介绍的方法进行匹配的两组学生，虽然在“智商”这一变量上完全相同，但他们可能在其他一些变量上又很不相同。比如，可能其中一组的女生比例较高，而另一组中则是男生的比例较高，即两个组在“性别”这一变量上的分布有所不同。同时，由于男生和女生对待学习的态度不同，学习的方法不同，学习成绩也有所不同。因而对于所研究的问题来说，“按照智商分数相等”的标准选择出来的这两个组，仍然没有达到在“性别”上“完全相同”的要求。还必须进一步根据性别进行匹配。推而广之，这两个组的学生除了在性别上有差别外，还会在类似的许多变量上都有所不同。比如学习成绩的好坏、家庭人口的多少、家庭收入的高低、父亲的职业类型等等。因此，要保证两个组的对象“完全相同”，必须在第三个、第四个、„„、第n个相关的变量上继续进行匹配。这是一项什么样的工作呢?十分显然地是，要找出两个在一个、两个或者三个变量上相同的对象是容易的，但要找出两个在所有变量上都相同的对象，则是完全不可能的。这也即是说，在某种意义上匹配的方法是基本无用的—因为目标是要使两组对象在所有方面都相同，然而，在实际生活中无法做到这一点。 困难来自三个方面:一是现实中往往会没有足够的对象供选择。因为随着需要相同的变量数目的逐渐增加，现实中符合条件的对象数目将急剧减少。从实践的角度来看，研究者将在这方面遇到难以克服的困难。二是研究者只能在那些他们已经意识到对因变量可能有影响的变量上进行匹配。而实际生活中还有更多没有被研究者意识到的因素可能对因变量有影响，这些没有被研究者意识到的变量，显然不会被研究者用来对对象进行匹配。三是人们的有些特征在实践上是很难测量的，或者说是很难操作化为具体的、可观测的指标的。比如人们的“动机”、“性格”等。如果不能很好地测量“动机”，就无法在“动机”这一变量上与对象进行匹配。当然，匹配的方法在实际研究中仍具有一定的作用，研究者还是可以在有限 第 9 页 共 23 页 《教育研究方法》教学辅导,六, 的条件下，针对那些与研究所关注的主要问题密切相关的变量来进行匹配，而暂时忽略和放弃其他一些与所研究的问题联系相对不太紧密的变量。只是在这样做的时候有一点应注意，研究的结论应限于一定的范围，下结论时应留有充分的余地。还可以从一种相反的途径来对实验对象进行匹配，即直接将实验组和控制组的总体结构配成完全一样。这种方式与非随机抽样中的“定额抽样”方法有点相似。例如，假如实验对象共60名学生，其中有40名男生，20名女生，那么，安排20名男生、10名女生到实验组，而另外20名男生和10名女生则分到控制组。这样，实验组和控制组在“组内的性别比例”方面就是相同的;或者说，对这两个组的对象在“性别”变量上进行了匹配。另外，假如这些对象中共有20名学生来自城市，其余40名学生来自农村，那么，在按性别分组的同时考虑到城乡变量的分配，即在分到实验组和控制组的30名学生中，都要保证有10名是城市学生，20名是农村学生。这样就在“性别”和“城乡”两个变量上对实验组和控制组进行了匹配。同样困难的是，要想同时考虑实验组和控制组在所有变量上的比例和结构，事实上也是不可能的。人们所能做的往往只是在非常有限的几个重要变量上两组结构相等。 (2)随机指派 随机指派(randomization)的方法是研究者用来解决实验中两组对象相同性问题的另一种办法。随机指派的逻辑和程序十分简单，即完全按照随机抽样的原理和方法来将实验对象随机地分配到实验组和控制组中。具体的操作方法可以有如下三种: (1)用抛硬币的方式来决定每一个具体的对象是去实验组还是去控制组。比如，假定要将60名大学生分到实验组和控制组(每组30人)。那么，从第一个对象开始，根据抛硬币的结果来决定其去的组别。若硬币正面朝上，则该对象去实验组;若硬币反面朝上，则该对象就去控制组。根据概率原则可知，抛硬币时出现正面朝上与反面朝上的概率各为50%。因而，被分到两个组去的实验对象也基本相等。 (2)按单、双号来简单地决定每一个对象是去实验组还是去控制组。同样是60名学生，将他们随意地按顺序排列。然后，将号码为单数的，即1，3，5，7，„„，59号的学生分配到实验组，而将双号的，即2，4，6，8，„„，60这30名学生分配到控制组。这实际上类似于概率抽样方法中的系统抽样法。 (3)按照排列的顺序或实际抽取实验对象时的先后顺序来决定。比如，将名单中排在前面的30名学生分到实验组，而排在后面的30名学生分到控制组。或者将先抽到的前30名学生分配到实验组，而将后抽到的30名学生分配到控制组。 按照上述三种方法分配的结果，两个组在各个方面都会比较相似。例如，如果这60名学生中有40名男生，20名女生。那么，在所形成的两个组中，其男女生所占的比例也会接近2:1。这也即是说，两个组中的性别比与总体中的性别比基本相同。完全一样的道理，这两组学生在其他变量(特征)上的比例也都会与总体中的比例相接近。这样，得到了两个在所有变量上都几乎完全一样的小组。或者说，这两个小组的学生在所有变量(包括那些尚未认识到的和无法测量的变量)上的分布几乎都是相同的。这是随机指派最为重要的作用。可以说，随机指派为人们创造了几乎完全相同的两组对象。之所以说“几乎完全相同”，是因为随机指派仍然存在误差，特别是当对象的数量比较小时，这种误差可能还会很大。所以，在可能的情况下，实验对象应达到一定的数量。 (3)配对方法与随机指派方法的比较 配对方法的实质是尽可能使实验组和控制组中的成员相互之间在许多重要的背景因素、个人特征因素上完全一样。而随机化方法的实质则是依据与随机抽样完全一样的原理，用概率论来控制各种干扰变量的出现。不难理解，当人们根据随机化的方法，从一个总体中选出两个群体时，各种干扰变量会以同样的方式对两个群体影响。因为根据概率论，此时所选出的两个群体基本上是两个完全相同的群体。所以，使用后者所进行的实验在准确性和精 第 10 页 共 23 页 《教育研究方法》教学辅导,六, 确性上将超过前者。因为通过概率论可使那些偶然因素像熟知因素一样被把握，所以在匹配法中的那些由于不熟悉而不能控制的因素，也成为可以把握的了。 2. 对自变量的操纵 当研究者能够决定他的实验对象将经历什么，或将接受什么处理和安排时，就说他能够操纵自变量。例如，如果研究者能够决定实验组的学生在新的学期中将接受新的教学法的教学，就说这个研究者能够操纵自变量—“新的教学法"。 实验中对自变量的操纵常常体现在如何恰当地“制造出”这个自变量上。例如，如果人们的假设是“在紧张情景中，吸烟者会吸更多的烟”，那么，“紧张”和“香烟的消耗”是两个主要的变量，其中“紧张”是自变量，它一般可以定义为人们在心理上、精神上的一种压力或负担。要用实验来检验这一假设时，前提之一就是要在实验中制造出“紧张”来。人们可以用“必须在规定时间内完成一份数量大、难度大、并且占学期总成绩80%的数学考试”来对一组学生“制造”紧张。然而，许多对教育研究者来说十分感兴趣的变量通常都不能够被操纵。比如，教育研究者通常要探讨学生的性别、年龄、家庭背景或个性特征等等，是否会影响他们的学习倾向。而学生的这些特征却是研究者无法操纵的，即研究者无法使某个学生的这些特征发生改变。因此，人们往往无法用实验来研究这种关系。与实验相反，调查正好适合这种研究。除此以外，教育研究者还会由于政治的、伦理的原因或限制，而不能操纵另一些变量。比如，人们不能为了研究人的社会化过程，而把一部分儿童同社会隔离开来，即制造出“缺乏社会接触”这一自变量，以比较这些儿童的成长与那些正常生活在社会中的儿童的成长之间的差别。我们也不能去人为地让一对夫妇离婚，以观察离婚事件对其子女成长的影响。因此，许多对教育研究者来说十分感兴趣的变量通常不能被操纵，正是造成教育学者较少采用实验室实验研究方式的一个重要原因。 三、实验控制 要正确地解释实验结果，除了具体分析影响实验效度的各种因素外，还必须设法控制一些影响实验效果的无关变量。 1. 实验控制的原则 实验控制有一个基本原则，这就是最大最小控制原则。意思是使自变量产生最大变化，使其他干扰的变量与误差产生最小的影响。这个原则在英文上称为maximincon principle，前一字是由maximize， minimize， control三个字缩写组合而成。这个原则包括三层意思: (1)控制实验变量 要使实验变量有系统而且尽量的(maximized)使前后的变化显出差异。例如，要研究时间(自变量)与遗忘(因变量)的关系时，时间的选择应采用1、3、5、7、9、11等不同日期的变化顺序，而不宜采用1、2、3、4、5、6、7、8等不同小时的变化顺序。因为后者变化间差异太小，所产生结果影响不易辨别。 (2)控制无关变量 要控制自变量之外一切可能影响结果的其他变量，使其保持不变或达到最小变化甚至排除在实验情境之外，务必不致影响自变量与因变量之间的因果关系。 (3)控制测量工具 控制测量工具的选择与使用，务必使误差减低到最低限度。 2. 实验控制的方法 根据上述原则，研究者要采取一些对可能影响实验结果的无关变量进行控制的方法。 (1) 随机控制法 第 11 页 共 23 页 《教育研究方法》教学辅导,六, 随机控制是将参与实验的受试者以随机分派的方式，分为实验组与控制组或各个不同的实验组。从理论上说，随机法是控制无关变量的最佳方法。因为在概率的原则下，各组受试者所具备的各种条件机会均等。在实际使用时，随机分派法可分为两个步骤: 第一步是用随机的方法将参加实验的所有人员进行分组; 第二步是再以随机的方法决定哪一组为实验组，哪一组为控制组。 随机控制的方法，虽然在事实上未必各方面都完全相等，但理论上他们相等的机会是比较多的。 (2) 物理控制法 物理控制就是注意实验情境的物理条件是否保持恒定，刺激的呈现是否标准，以及反应的是否客观一致等物理性因素的控制。例如，为了使实验情境保持恒定，以免干扰实验变量对因变量的效果，要设法控制声音、灯光、气氛、周围环境等物理因素。 (3) 排除控制法 排除法是在设计实验时将可能影响结果的变量，预先排除于实验条件之外，使自变量简化，免受其他变量的影响。例如，在试验发现式教学法和演讲式教学法的优劣时，如果认为智力因素会影响结果，则只选高智力生为受试者(或只选中等智力生或只选低智力生为受试者)，这样智力因素对实验结果的影响被排除掉了。同样，如果认为性别因素对实验有影响，则可采用单一性别(如只用男生或只用女生为受试者)，这样，性别因素对实验结果的影响可排除掉。 排除法能很有效地控制无关变量，但所得的研究结果缺乏普遍的推论性。例如，只用男生为研究对象，将来结果就不适用于女生。因此，在实验设计时，排除法并不常用。 (4) 纳入控制法 纳入法是弥补排除法缺点的一种方法。这种方法是把影响将来实验结果的某种(或某些)因素也当作自变量来处理，将其纳入实验设计中，成为多因子实验设计。这样，不但可以收到控制之效，而且还可以进一步了解变量间的交互作用结果。例如，上例中，可将智力因素分为高、中、低三个层次纳入设计中，这时，原设计就变成为2(教学法)×3(智力)的二因子实验设计。在这一设计中，一方面可了解不同智力间的差别，另一方面又可了解智力和教学法之间的交互作用，亦即教学法的效果是否因不同智力层次而有所差异。假如同时考虑智力和性别两个因素，就成为:2(教学法)×3(智力)×2(性别)的三因子实验设计。 (5) 配对控制法 配对法是企图使实验变量之外其他变量发生相等影响的一种方法。具体做法是:首先认定与因变量有明显关系的变量，然后决定所要控制的变量，并据此选择同等分数或相同特质的受试者配对。配对后，再以随机分派的方式，将其中一个分派到实验组，另一个分派到控制组。例如，为了使两组学生的智力相等，研究者可从智力测验分数中，选择分数相同的受试者配成对，然后随机分派到实验组和控制组。常用以配对的变量有性别、年龄、社会经济地位、智力、学业成绩、个性特征和前测分数等。必须注意的是，配对变量的决定，一定要以和因变量有高度相关者为根据。 在理论上，配对后，实验组和控制组的受试者，在所据以配对的特质方面，可达到相等的程度。但在实验上是很难使用的。因为:首先，配对的变量若超过两个以上时，要找到这几个变量同时相等的受试者是十分困难的;其次，配对的变量虽然可保证会相等，但其他因素却未必会相等。再次，对于中介变量，如动机、态度等内在的因素，根本无法找到可靠的根据去进行配对。只有随机控制法才能克服配对法顾此失彼的缺点，而且对难以观察测量的中介变量如动机、性向、态度、疲劳、注意等因素，也同样发生控制作用，这也许是在实际中人们多用随机法而少用配对法的重要原因。 (6) 测量选择控制法 第 12 页 共 23 页 《教育研究方法》教学辅导,六, 测量选择法是把参加实验的对象全部测量一下，然后根据测量的结果，予以合理的选择与分配。为了使各组均等而编制或采用的测验，必须合乎实验处理的要求。例如，如果打算采用两个组做实验，以比较两种数学教学方法的效果，那么所要测量的就是学生原有的数学水平。测量的结果出来后，就按分数多少的顺序排列好，然后再按排列顺序上的位置，把他们均等地分派在各组里面。为了使各组均等，在实行分组时可采取“弓”字排列式。如下A、B两式，若按顺序连结，则是两条“弓”字形的曲线。 根据上述分组法，组数再多时仍可依此类推。为了使各组的均等更接近于理想水平，可在依上述方法分组后，再求得各组的平均分数而加以比较，若仍发现有彼此悬殊的情况，则可把这一组中分数较高的人和那一组中分数较低的人加以调换。此外，仅仅在平均分数上相等还不算相等，还必须在差异量数〈如平均差，标准差等〉上也力求相等。只有这样，才能使两组在原有水平上更接近于真正均等。控制无关变量是实验研究中一项非常重要的工作。但这里所说的“控制"，只是相对的，而非绝对的，只有程度之分。要想对人类行为和对复杂多变的教育现象，像物理化学实验那样达到绝对控制而又肯定变量问因果关系的程度，事实上是不可能的。因此，在教育实验研究中要正确理解“控制"一词，才能正确解释所得的实验结果。 第三问题 实验设计 实验设计是实验研究的蓝图。它的意义在于给研究者提供如何控制变量，如何分析资料，可以获得怎样的结论的一种构想、计划和策略。为了简明地表示各种研究设计的特征， 3 下面的研究设计将用符号来表示。现先介绍实验设计的符号及其涵义: X:表示研究者所操纵的实验变量; O:表示观察分数或测量分数; R:表示受试者是随机选择和随机分派到各组; „:表示由虚线所隔开的各组研究对象之间不相等; —:表示由实验所隔开的各组研究对象之间不相等; 由左至右:表示时间次序或先后; 同一横行的X或0:表示这些X或0是对同一组受试者的实验处理。 一、单组实验设计 单组实验设计是用单一实验组为研究对象，施加某一种或数种实验处理的实验设计。 1. 设计1:单组后测设计 这种设计的模式如下: X O 这种设计的要求是，首先选择一些受试者作为研究对象，并给予一种实验处理，然后测量实验处理的效果。例如，为试验一种新的教学方法对学习成绩的影响，于是采用一班学生实施这种教学方法，一个学期后，测验学生的学习成绩，并凭研究者主观的判断下结论说:这种教学方法有助于学习成绩的提高。这个结论可能是不正确的，因为，这种设计的内在效度甚差，如“历史”、“成熟”、“差异的选择”和“受试的流失”等因素可能干扰实验结果。 第 13 页 共 23 页 《教育研究方法》教学辅导,六, 总之，这种设计虽然简单易行，但因缺乏控制组和可比较的量数，许多因素会混淆实验结果，在一般的教育研究中，这种设计已甚少采用，不过，能认识其优缺点，对于从事更适当的实验设计是必要的。 2. 设计2:单组前后测设计 这种设计的模式如下: O X O 12 这种设汁的要求是，对受试者进行实验处理前的测验(O)，然后给予受试者实验处理1 (X)，再给予受试者一次测验(O)。最后比较前测和后测的分数，通常采用两个相关样本平2 均数差异的显著性的检验(N>30用Z检验，N<30则用t检验)，以检验前后两次测验平均数的差异显著性 (统计检验的具体方法可参阅有关章节)。这种研究设计的优点是:相同的受试者都接受前测和后测，“差异的选择”和“受试的流失”两因素即可被控制。缺点则是:实验效果可能受到“历史”、“成熟”、“工具”、“选择与成熟的交互作用”的干扰，可见其内在效度也很差，少用为宜。 3. 设计3:单组相等时间样本设计 这种设计的基本模式是: XO XO XO XO11021304 这种设计是对一组受试者抽取两个相等的时间样本，在其中一个时间样本出现实验处理(X)，另一个时间样本不出现实验处理(X)，然后，比较这两段时间测验的分数。例如，0 新的教学方法与传统的教学方法对同一班学生相间出现，看两段时间的学习成绩有无不同。统计检验可采用变异数分析法。也可采用相关样本平均数差异的显著性检验(N)30用Z检验，N<30用t检验)。这种设计能完全控制影响内在效度的八个因素。缺点主要在外在效度方面，实验结果可能会受到“实验安排的反作用效果”、“选择的偏差与实验变量的交互作用”、“重复实验处理的干扰”等因素的影响。这一设计也可用于只有一个受试者的情形。 4. 设计4:单组纵贯时间系列设计 这种设计的基本模式是: O O O O X O O O O 12345678 使用这种设计时，要对实验组做周期性的一系列测量，并在测量的这一时间系列中间呈现实验变量(X)，然后比较实验变量前后的一系列测量记录是否有显著差异。例如，研究者欲探索提高工人的教育水平是否会提高工厂的产量，于是从1月到6月，在每月末，都把准备参加教育培训的工人的生产量记录起来，然后，从7月至12月，对工人进行某一项专门技术的教育培训，接着，继续记录从第二年的1月至6月的生产量，看看经培训后的1,6月产量比培训之前1,6月产量是否有显著增加。 这种设计的统计分析除了可用相关样本平均数差异的显著性检验(N>30用Z检验，N〈30用t检验〉外，比较理想的统计检验方法是采用趋向分析。 在内在效度方面，这一设计的缺点是:“历史”的因素可能对实验结果产生干扰。要补救这一缺点，最好多增加一个控制组，成为“多重纵贯时间系列设计”。除了“历史”因素外，影响内在效度的其他因素均可被控制。在外在效度方面，“测验的反作用或交互作用效果”未能控制，因此，其实验结果只能推论到重复测验的群体。好在利用学校里的学生做实验时，学生便是常常接受重复测验的团体，而研究者所要推论的对象也正好是学生。因此，这一缺点，对于在校学生而言，并非真正的缺点。 5. 设计5:单组多因子实验设计 这种设计的基本模式是: (O X O) (O X O) 112324 这一设计的要求是，以单组作为实验对象，施加两种或两种以上的实验处理。每一种实验处理均进行前测和后测。然后比较各种实验处理的效果。例如，要对一个班级进行两种教学方法的对比实验。具体做法是，在实施甲种方法前进行一次测验(O)，在实施甲种方法1 第 14 页 共 23 页 《教育研究方法》教学辅导,六, (X)后，再进行一次测验(O)，对两次测验成绩比较，可求出甲种方法所产生的效果。同样，12 用乙种方法(X)实验一次，得出乙种方法所产生的效果。最后，对这两种教学方法所产生的2 效果进行比较，明确哪一种方法的效果比较好。 这种设计的统计分析，可采用相关样本平均数差异的显著性检验(N)30用Z检验，N<30用t检验)。内在效度方面，这种设计的缺点是:实验结果可能受到“历史”、“测量的工具”等因素的影响。在外在效度方面， 这种设计的缺点是“多重实验处理的干扰”即后一实验处理在实验对象中所产生的变化，可能受到前一实验处理的影响。 二、组别比较实验设计 组别比较实验设计是以两个或两个以上的组作为实验组和控制组，然后比较各个组所发生的变化。 1. 设计6:静态组比较设计 这种设计的基本模式是: 这种设计要求选择一班学生作为实验组，另一班学生为控制组，给予实验组实验处理后，测验两班学生的成绩。统计分析可采用独立样本平均数差异的显著性检验(N)30用Z检验，N〈30用t检验〉。这种设计由于使用控制组比较，“历史”因素可被控制，如果两组年龄相同，也可能控制“成熟”因素。因在设计中没有前测处理，“测验”和“工具”两个因素也容易控制。但由于两组实验对象条件不相等，“差异的选择”、“选择与成熟”的因素可能会影响结果。因为有两个组，“受试者的流失”也可能干扰实验效果。 2. 设计7:等组前后测设计 这种设计的基本模式是: 这个设计的主要步骤: ?用随机方法选择受试者，并将其随机分派到实验组和控制组(R); ?实验处理前，两组都接受前测(OO); 13 ?实验组接受实验处理(X)，而控制组则否; ?实验处理后，两组都接受后测(OO); 34 ?比较两组实验结果[(O,O),(O,O)]。 2143 在实际研究中，有时可能有好几种不同的实验处理，这时，可根据比较的需要采用两组或超过两组以上的实验设计。 两种实验处理的等组前、后测设计模式 实验结果=(O2,O1)-(O,O) 43 三种实验处理的等组前、后测设计模式 第 15 页 共 23 页 《教育研究方法》教学辅导,六, 实验结果是把三种实验处理所产生的变化互相比较。如果实验因子加多，设计的组数也要相应增加。 这种设计的统计分析是对两组调节后的平均数(实验的后测值减去前测值的平均数，即各增益数之平均数)作独立样本平均数差异的显著性检验(N>30用Z检验，N<30用t检验)。但这种设计最适当的统计分析法，是共变量分析法(analysis of covariance)，即以两组的 9前测分数作为共变量，进行共变量分析。 这种实验设计的内在效度是很高的，由于采用相等的控制组，而且两组都有前、后测，故在前测到后测期间影响内在效度的“历史”、“成熟”、“测验”、“工具”、“统计回归”等因素，两组完全一样。再者，由于采用随机方法，两组在各方面的特质相等，故可控制“差异的选择”、“受试的流失”和“选择与成熟等因素交互作用”等三个因素的干扰。可见，它是一种严谨控制的实验设计，在教育实验研究中常被采用。 但在外在效度方面，由于采用前测，实验结果可能受到“测验的反作用或交互作用效果”因素的干扰，“实验安排的反作用效果”因素的干扰有时也可能产生。 3. 设计8:等组后测设计 这种设计的模式是: 这种设计与前述等组前后测设计比较，不同之处是两组在实验处理前都没有测验。现以一例子来说明这种设计的使用方法。假定要探讨教师和学校领导交换意见的机会是否有助于提高教帅的工作态度。于是从学校中随机抽取一些教师参加实验，其中一部分教师随机分派为实验组，另一部分为控制组。实验开始时，实验组的教师每日均有两次机会和校长交换意见，商谈校务和教学事宜，控制组则无此机会。经过一年后，实验组和控制组的教师，都接受一项测量“教师工作态度”的问卷。然后比较两组教师的工作态度是否有显著差异。统计分析可使用独立样本平均数差异的显著性检验(N>30用Z检验，N<30用t检验)。 这是一种十分理想的实验设计，因为它对影响内在效度的八个因素均可有效控制，而且，尚可避免因前测所产生的“测验的反作用效果”。 这种设计的局限性在于，它无法确定实验处理是否对不同层次的受试者有不同的效果。如果有前测时，则可据之以形成不同组别，从事进一步的分析。例如，假定要比较采用归纳法和演绎法教数学的效果，如实验前，两组都没有进行数学成绩的测验(前测)，仅在实验后测量数学成绩，如经比较结果，发现两组没有显著差异，据此而确定实验处理没有效果。但是，如果有数学成绩的前测，人们就可根据数学成绩将学生分成高、中、低三个层次，进行2(教学法)×3(数学成绩)的实验设计，实验结果可以发现两种教学方法的效果因学生数学前测成绩不同而异。 4. 设计9:所罗门四等组设计 这一设计实际上是上述等组前后测设计和等组后测设计的综合，是由所罗门(Solomon，1949)首创，故称为所罗门四组设计(Solomon four group designs)。其设计模式是: 这种设计包含有两个实验组和两个控制组，四组受试者均由随机方法选择而来。其中，有两个组接受前测，两个组则无。实验处理后，四组均接受后测。 实验效果的测定，可用相关样本或独立样本的Z检验或t检验(N>30用Z检验，N<30 第 16 页 共 23 页 《教育研究方法》教学辅导,六, 用t检验)的方法，检验下列四种平均数的差异显著性: ?第一组前测和后测平均数的差异(O-O); 21 ?第一组和第二组后测平均数的差异(O,O); 24 ?第三组、第四组后测平均数的差异(O,O); 56 ?第一组、第二组前测平均数和第三组后测平均数的分别差异(O,O或O,O)。 5153 如果上述四个差异的检验都获得一致性的效果，研究者将更有信心确定是实验处理产生了效果。因为这等于重复做了四次实验(若以有前测和无前测比较，则等于重复做了二次实验)。有关前测经验的单独效果之检验，可比较第二组和第四组后测平均数的差异(O,O)。46这种设计对影响内在效度的八个因素均可控制，而且，可以控制和测量前测的主要效果，可以控制和测量前测与实验处理间的交互作用效果(通过第一组和第三组的比较)，可以测量“成熟”和“历史”的综合影响效果(根据第四组的后测平均数O和第一、二组的个别前测6 平均数O、O的比较)。可见，这种设计是最严谨控制的实验设计之一。但是，由于有四个13 组，需要大量的样本，研究者须付出很大的代价，缺乏实用性。因此，在一般的教育研究中，这种设计的应用并不广泛。 5. 设计10:不相等控制组设计 这种设计的模式是: 这种设计与静态比较设计相比，唯一不同之处是:这种设计两组都有前测。而与等组前后测设计相比，区别则在于:这种设计不是采取随机方法分派受试者，所以实验组与控制组的各方面条件未必相等。 运用这种设计的一般步骤是:?以班级为单位，将班级随机分派为实验组和控制组;?对两组实施前测;?实验组接受实验处理，而控制组则否;?实验处理后，两组进行后测。 例如，研究者欲试验新编的小学《数学》课教材是否优于旧教材，可接洽一所小学做实验，结果这所学校不允许采用随机方法从各班级中抽取学生，并随机分派到实验组和控制组，而只能提供六个原来班级学生作为实验对象。这时，研究者只好将六个班级随机分派三个班为实验组，另三个班为控制组 (显然，这种分派方式不能看作是随机分派，因为每一位学生并没有同等机会被分派到实验组或控制组。不过，在不能完全随机分派学生的情况下，以班级为单位随机分派也是一种可取的措施。) 。接着， 对两组受试者实施一项数学思维能力水平测验，然后，实验组使用新教材教学，而控制组仍使用旧教材教学，一个学期后，两组再接受思想品德水平测验，则可比较新旧教材之优劣。统计分析同第7种设计。 这种实验设计在教育研究中使用很普遍。在内在效度方面，这种设计可以控制“历史”、“测验”、“成熟”、“测量的工具”、“受试的流失”等因素。由于有前测，“差异之选择”因素也可控制(如，可用共变量分析法控制某些特质方面的差异) 。但是，由于没有采用完全随机方式分派受试者，故“选择与成熟”、“选择与同时事件”等的交互作用，会干扰实验效果。如果两组受试的选择不适当，“统计回归”也有可能产生。在外在效度方面，不能控制“测验的反作用或交互作用效果”、“选择偏差的交互作用效果”和“实验安的反作用效果”等因素。 三、循环实验或轮组实验设计 循环实验设计或轮组实验设计也叫对抗平衡设计，它是把各种实验处理(不管是几个)，轮换施行于各组(各组不必均等)然后根据每种实验处理所发生变化的总和来决定实验的效果。 第 17 页 共 23 页 《教育研究方法》教学辅导,六, 1. 设计11:循环实验设计 这种设计的模式分为甲、乙两种。甲模式: 这种设计的实验步骤如下: ?选取二班作为实验组(两班不必均等); ?两组在第一个实验时间内进行前测并分别接受二种不同实验处理中的一种; ?两组在第一个实验时间内，进行实验l处理以后的测验; ?在第二个实验时间内，将用轮换方式，将实验处理分别呈现给各组受试者，使每组都有机会接受每一种实验处理。在每次实验处理前后，各组均接受前测和后测。 例如，研究者欲探索两种不同的强化方式，对学习效果的影响。这两种不同的强化方式是:A.固定时间强化(X1):不管学生的学习成绩如何，只有等待某一特定时间到来才“强化”。如:教师固定在每个学期的中段考时，才对学生优者表扬，差者批评。B.不定时强化(X):教师对学生的强化，没有固定的时间，如教师经常对学生优者表扬，差者批评。 根据上述设计模式，研究者选择两组学生(不必均等)，在第一学期，A组接受固定时间的强化，而B组则接受不固定时间的强化;在第二学期，B组接受固定时间的强化，而A组则接受不固定时间的强化。在每个学期的实验前后，都分别对各组学生的学习成绩进行前测和后测。最后，把这两种不同的强化方式各自在各学期内所发生的变化的总和进行比较，即可知两种不同的强化方式对学习效果影响的优劣。 如果实验处理有三种，则实验组分别也应增至三个，每组仍对所有实验处理轮流实验一遍，各种实验处理的次序应像下面的方法排列: 这样的排列方法使每一种实验处理不但在各组中循环了一遍，而且在实验次序的每一个地位上也都循环了一遍。上述设计若不要前测，则变为乙模式: 这种设计的统计分析，可采用拉丁方格实验的重复量数变异数分析法，其分析的模式依上面设计模式安排如下: 组别 实验处理 X X 12 A t t 12 B t t 22 t表示实验处理时间顺序。从纵行的总和可检验“实验处理”之间的差异显著性;利用横行的总和可检验组别之间的差异显著性。 第 18 页 共 23 页 《教育研究方法》教学辅导,六, 在内在效度方面，这种设计除了可能产生“选择与成熟的交互作用效果”之外，其他七个影响内在效度的因素均可被控制。在外在效度方面，“多重实验处理的干扰”的因素可能影响外在效度。在每种实验处理都有前测的这类设计，“测验的反作用效果”因素也能影响外在效度。在实际应用上，这种设计不必要求各组均等，因而省却了均等组别的麻烦。但各种实验处理被实验的次数增加，这就自然又增加了很多麻烦。 上述十一种实验设计各有利弊。在选择运用时，每种设计还可以根据实验情况而加以改进。在这些设计中，第三种单组相等时间样本设计、第四种单组纵贯时间系列设计、第十种不相等控制组设计、第十一种循环实验设计这四种又被叫做“准实验设计”(quasi-experimental design)。准实验设计和真正实验设计的主要区别，在于真正实验设计可以使用随机分派的方法将受试者分派到不同的实验处理或情境，而准实验设计则无法如此分派受试者。准实验设计在教育研究中广泛应用，原因是在学校抽样很难做到随机化，因为在实际中，人们不能也不愿打破现存的编班。而准实验设计，以原班级作为实验对象，并在可能的条件下尽可能进行控制，所以教育研究者常常愿意采用。 第四问题 实验结果的验证 教育是复杂的社会现象，影响某一教育现象发生的因素是很多的，教育实验所得的结果不可能达到像自然科学实验研究结果那样准确的程度。为了有效地检验教育实验结果的准确程度，下面介绍几种常用的检验实验结果的方法。 一、从实验程序上检验 任何实验研究的进行都有一定的程序(包括设计、抽样、分组、控制等工作)，实验程序的科学性和先进性将影响实验结果i的准确性。因此，要验证实验结果，首先必须全面地考察整个实验的全过程，检查实验过程的各个环节是否抓好，实验设计效度;如何，无关因素控制得怎样。只有这样，才有可能对实验结果的l准确性有比较全面的认识和评价。 二、用实验系数进行检验 实验处理所产生的效果如何，主要是从前后测验所得数据的比较，及对不同实验处理效果测验所得数据的比较中来看的。实验结果可靠程度的大小一般可用下列求实验系数的办法来检验:优胜点实验系数=2.78×优胜点标准差优胜点=实验因子1的平均进步数一实验因子z的平均进步数优胜点标准差=J(平均标准差1)2+(平均标准差2)2一每个受测者的增益数之和平均进步数一受测者数 每一实验因子的平均进步数求得后，可据以求得这个平均进步数的平均标准差，进而求得优胜点的标准差。实验系数的大小可用来表示实验可靠程度的大小。实验系数越大，就表明实验结果越可靠。一般说来，实验系数为1或接近于1时，就表明实验结果相当可靠。 4如果在0.5以下，就不能认为是可靠的。 三、与其他有关的已确立的定理定论对照进行检验 任何理论都不是孤立的，人们可以把实验所得结果以及由此推出的理论，拿来和已经确立的有关定理、定论对照，进行验证。如果相一致，就证明实验结果及由此产生的理论是可靠的，否则就应有疑问。不一致有两种可能:一般情况下，可能是实验结果不可靠，但有时也可能是已成定论不可靠，应予推翻，当然，后一种情况是很少的。所以，当实验结果与已成定论不一致J时，问题就非常复杂了，这时往往需要把研究范围再扩大，即连同所谓已成定论的也要再拿来分析研究一番。那就不属于这一实验的问题范围了。 四、用重复实验来检验 这种检验办法是另行抽样，改变实验对象，进行重复实验。重复实验的关键是:实验对象改变，实验处理不变，其他条件尽可能保持不变。重复实验的结果若与原实验结果相符 第 19 页 共 23 页 《教育研究方法》教学辅导,六, 或差别不大，就证明实验可靠，如果差别太大，还可重复实验多次，看究竟哪个实验结果比较可靠。真正的科学结论是应该经得起多次反复检验的。 不过，这种检验办法是比较麻烦的。前文就比较具体的问题所进行的有控制的小型实验而言，而对于牵涉面比较广的问题所进行的自然实验，就不能拿前面所讲的那些要求去硬套，特别是对于牵涉面比较广、规模比较大的实验，要想对于各方面的情况严格加以控制是不可能的，而且控制过多了反而会失去实验的真实性。在这种情况下，自然实验就非常必要，它决不是控制实验所能代替的。当然，自然实验也是一种科学实验，也一样须有假设，须有实验因子，并须有各方面应有的数据。它与控制实验的主要区别在于它是在自然状态下，在日常正常生活工作学习条件下所进行的实验。它需要进行更深入的分析与检验，并不断调整其实验措施。它要求实验者站在更高的角度，具有敏锐的观察能力与更高的分析综合能力。 第 20 页 共 23 页 《教育研究方法》教学辅导,六, 第 21 页 共 23 页 《教育研究方法》教学辅导,六, 第 22 页 共 23 页 《教育研究方法》教学辅导,六, 第 23 页 共 23 页