很有难度的脑筋急转弯

心理测量第八章测验的编制与实施一、测验编制的一般程序 测验的界定 制定编题计划 编制题目 项目的试测和分析 合成测验 测验的标准化 测验的修正与鉴定 编写测验手册第一步：测验的界定 测量对象：什么人，儿童/成人， 测量目标：什么内容，心理变量/行为如：成就、智力、人格 测量用途：诊断/预测常模参照测验/标准参照测验 第一步：测验的界定（续） 建构测验的理论依据： 基于逻辑或内容：考虑行为的领域范围并进行相应的度量（如教育测验） 基于理论：根据一种理论编写出能够反映理论构想的题目（如Myers-BriggsTypeIndicator或MBTI基于容格的类型论） 基于外部效标：选择那些能够将个体或群体做出区分的题目（如MMPI，CPI，罗夏墨迹测验等）。。基于经验 第二步：制定编题计划 总体设计，指出测验内容结构和项目形式及相对重要程度如：双向细目表（编制成就测验）一种标明测验所包含的内容和要测定的技能（构想）以及每一个内容、技能的相对重要程度的表格。 可能是多向的，不限于双向。 要目标明确内容（主题）准备编题施测记分题目分析术语工作分析，匹配题；反应晕轮效应记分键效标，内部一致 关键事件心向，多项选择主被试关系合成分数性，测验同质性有代表性（5）（2）机器记分（3）样本（3）（3）特殊教育目标客观题与论述影响测验成绩主客观题决定题目效度的知识的分类题的长短处的因素的记分规则方法，题目分析（2）（4）（3）（3）的目的（3）理解解释制定（0）（0）题目权重对解释P和D的关系测验计划的目的总分的影响（1）（2）（1）应用对某个单元多项选择测量测验指导语猜测的校正，难度和区分度编制一个具理解、应用、（2）置信加权，指标计算，错误体说明分析、综合和（4）选项的分布（1）评价能力的例子（4）（4）总计81371111第三步：编制题目 搜集资料代表性、普遍性 选择形式 文字/非言语 客观/论述 纸笔/操作 编写和修订题目测验题目的编制技术 命题的一般原则：范围，代表性，难度，数量，简明 不同题型的编写规则分类1：选择题/是非题/匹配题/填空和简答题/论述题应用题/操作题/联想题/排列题/改错题分类2：全开放型/开放—单一反应型/多重选择/双级等级评定利克特型/排序/投射/绩效项目/分类信息编题举例1：多择一题型 Do… 使用一个直接的问题或一个不完整的陈述作为题干 选项或题目在语法和形式上保持一致 尽量使所有错误选项看起来是可能的 Don’t… 否定性题目，尤其是在题干是否定性的（双重否定） 使用技术上的行话 反应之间相互重叠 使用“以上所有”例2：主观题——人格 是非题 我喜欢去干有冒险性的工作 利克特评定量表：5点或7点评定 朋友们通常把我看成是一个潇洒的人 使用特殊符号 用于态度调查 你对XXX电视节目有什么看法？23451很不象我非常象我例3：主观态度调查题目的编写规则 Do… 使用现在时态 避免模糊与歧义 使用简单明确的语言 语句尽量短 选择各种陈述以覆盖所有感兴趣的内容 Don’t… 询问事实 使用每个人都会赞同或不同意的陈述 使用“如果可能” 使用双重否定 使用全称命题（所有…)分析：这些题有什么毛病？ 当上级布置任务时，不是说不能接受的。 我不相信我们的所有法律对公民都是有益的。 如果你去问的话，人们不会告诉你他们大多数时间都在想什么。 有多少人居住在香港？ A超过三百万B超过四百万 C超过五百万D超过六百万小结：题目编写 应用理论指导你的题目编写，不是只靠与外部效标的相关 简明扼要-明确的指导语，简明的语言 校对你的题目 对可能的混淆有所预期 考虑疲劳/厌倦因素 考虑短时记忆的限制第四步：项目的试测和分析 试测注意： 对象代表性 过程、情境相似 时限稍宽 随时被试反应题目分析 测验由题目构成。题目的质量决定了测验的质量。 题目分析可以帮助我们发现题目的问题，并加以调整。在测验建构中起着重要作用。 题目分析可以从质和量两个方面进行。 质：内容与形式 量：统计学特性 题目是否对不同类型的人群有不同的难度与区分度第五步：合成测验 项目的选择根据项目分析结果筛选项目，选出的题与双向细目表对照，有效区分且难度合适，考虑题目数及所需时间 项目编排通常由易到难并列直进式/混合螺旋式 编制复本复本等值要求：－测同一心理特质－相同内容范围－题型、题数相同、难度分布相当－各测验分数分布平均数标准差大致相等第六步、测验的标准化 标准化：控制无关因素对测验目的的影响的过程。 标准化包括：编制标准化（符合要求）使用标准化（操作规范）测验的标准化 编制标准化 测验内容－测验项目相同或等值 使用标准化 施测过程－施测条件/指导语/时限 评分－客观/正确经济/实用 分数解释－常模标准化样本 第七步：测验的修改和鉴定 根据项目分析结果，删除、修改和重新编制题目。这是一个多次往复的过程 对成型的测验进行标准化，收集测量学证据或资料，包括信度与效度等信度（可靠性或一致性）效度（有效性或正确性）第八步：编写测验手册手册应包括以下内容：1.测验的目的、功用2.理论依据3.实施方法4.标准答案和计分方法5.常模表或其它分数转化与解释的资料6.测验的信度、效度资料及说明二、测验的实施 测验实施的一般程序 标准化指导语 标准时限 环境条件 主试的职责*计算机化测验：计算机辅助测验/CAT标准化指导语 标准化的指导语（instruction）：是在测量实施时说明测量进行方式以及如何回答问题的指导性语言——对受测者和对主试的 标准化：指导语内容和形式；主试的朗读标准时限 测量时限： 典型行为测验（主要指的是人格与态度测验）一般不给时限 最佳行为测验（主要指能力和成就测验）需要时限，一般通过试测来确定（90%原则） 环境条件 主试对测量结果的影响: 主试的个性特点：宽容、竞争等 主试的期望效应：罗森塔尔效应（Rosenthaleffect,也称皮格马利翁效应） *受测者对测量结果的影响 技巧、练习和疲劳因素：策略的迁移、熟练化和身心的疲劳 焦虑和动机因素： 应试动机：迎合主试、社会称许性（掩饰）、无所谓 测验焦虑：一种不愉快的、表现为焦急、恐惧和紧张的情绪体验，主要由于对可能出现的测验结果和自己应付某一局面的能力的担心而造成的 焦虑的倒U曲线焦虑的倒U曲线成绩焦虑水平*受测者对测量结果的影响（续） 受测者反应的方式或者风格——回答问题的习惯方式 求“快”或求“精确”的反应定势 偏好正面叙述的反应定势 偏好特殊位置的反应定势 偏好较长选项的反应定势 猜测的反应定势关于CAT(计算机自适应性测验) 基本原理：根据项目反应模型，按被试相应的能力水平从题库中选择题目，后面呈现的题目取决于被试对前面项目所做的反应。 给出一个中等难度的题目 答对：出现一个更难的题目 答错：出现一个更易的题目 循环往复，直至得到在一定精度上的某个能力值（θ）CAT的优势 效率高，要达到同准确的估计，传统测验题目数至少为CAT测验的两倍 被试可根据自己的习惯速度作答CAT的劣势 开发程序需要大量金钱 良好的估计需要大量题目（题库） 在以下情况下，人们感觉有不公平 不同的人做的是不同的题目 不同的人做测验的时间不同 测验题目的加权值不同 作答不允许被试跳过一些项目，不可返回前面的题目主试职责 准备工作 遵从指导语 对特殊情况灵活处理三、测验的计分和分数解释 计分的一般程序 测验分数的解释（一）计分的步骤与要求 测量的计分:记录反应/检索标准答案/比较反应和标准答案 计分方式：客观题——计分套板、机读卡主观题：整体计分或分析计分 要求：客观/正确/经济/实用客观评分才可将分数差异完全归于受试者的差异（二）测验分数的解释  测量的实施与测量的解释：两个相对独立的过程 解释：给测量的结果赋予它应有的意义——不要过度解释（overinterptret） 测量的结果解释：常模参照解释；标准参照解释 影响测验分数的因素：遗传，学习与经验，测验情境分数解释应遵循的基本原则 主试应充分认识测验的性质与功能 对导致测验结果的原因的解释应慎重，谨防极端 必须充分估计测验的常模和效度的局限性 解释应参考其他有关资料 以一个分数段而不是特定数值作解释 来自不同测验的分数不能直接比较*最后的问题 所有题目测量同一种东西吗？ 如果测量两次，会得到相同或近似的结果吗？ 如果两个评分者改卷，得到的结果相同吗？ 测验内容适当地测量了我们想要测的东西吗？ 我们得到的结果适当地反映了要测的东西吗？ 我们实际测量的是我们想要测量的东西吗？THEENDTHANKS!