问卷调查中的信度和效度问题

© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 中国健康教育 调查研究 · 李戮霭狱同橇奢申物礁种熟寻啼氛感渗碳运 河北省霸州市卫生防疫站 王 海军 河北省霸州市妇幼保健站 徐克静 在卫生服务研究 、 心理健康测量 、 健康教 育及社会医学等领域 , 常采用问卷调查的方 法 。实践证明 只有对问卷进行严格并在 调查 中减少误差的出现 , 才能保证获得资料 的准确性 , 结论和推论的科学性 , 这也就是问 卷应具有 良好的信度和效度 。 信度和效度的关系 , 可以用射击过程来 说明 。射手首先应学 习如何射中靶心 , 然后进 行规定发次的射击 , 子弹平均接近靶心的程 度可 比喻为测量的效度 而子弹相互接近的 程度可近似看成调查的信度 。 理想的结果是 一组射击的子弹相对集中于靶心附近 , 也就 是说测验应可信而有效才能说问卷具有 良好 的信度和效度 。 如果一组射击一致落在远离 靶心的某个区域也说明测验结果是可靠但无 效的 , 这是由于测量中产生了误差 。 信 度 又 称 为 可 靠 性 、 稳定度 、 一致性 、准确性 、 可预测度 。 一般讲 , 信度是指测量结果的一 致性和可靠性 。 测验的信度是针对某特殊情 形的 , 如偶然误差的影响 , 题 目和行为样本的 选择 , 不同主试者和评价者的情境 。 即使是同 一测验在不 同情境下 , 信度的结果也是不尽 相同的 。 根据传统的测量理论 , 任何问卷调查 的结果都是真正基本分和某种程度误差的结 合 , 可示为 一 。 其中 , 为被试者经 过无数次测量结果 的平均分 , 是 引起测量 结果不一致的偶然误差 。 为测量所得结果 。 任何观察和调查结果都是对所有观察总体中 的一个样本 。 信度是对更一般总体分数估计 的准确程度 。 也就是从该观察对总体做推论 的能力 。根据误差来源的不同 , 信度可分为以 下几种 重 测信度 一 又 稳 定性系数 。 即使用同一测验 , 在不同时间对同 一群体施测两次 , 两次测验分数的相关 系数 即为稳定性系数 。 从相关系数的大小可知经 过一段时间后测量结果的稳定程度 。 重测信 度越高 , 测量结果越一致越可靠 , 也表明受测 验环境 中 日常随机因素的影响越小 。 复本信度 一 又 称等值性系数 。 是以两个等值但题 目不同的 测验来测量同一群体 , 求得的被试在这两个 测验上得分的相关系数 。 它反映了测验 内容 上的等值性 , 这两个等值的测验或问卷互称 为复本 。 测定复本信度也应考虑两个复本实 施的时间间隔 。 两个复本应几乎在同一时间 实施 , 这时的相关系数所反映的才是不 同复 本间的关系而未掺杂时间的影响 。 计算复本 信度主要是选择复本即题 目或 内容的取样问 题 。 要减少由于测验内容的选择而引起的偏 倚 以及被试分数依赖于测验题 目选择 的程 度 。 一 一 © 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 中国健康教育 · 调查研究 · 内部 一 致 性 信度 ‘ 重测信度和复本信度分别注重考虑 了测 验跨时间的一致性 稳定性 和跨形式的一致 性 等值性 。 而 内部一致性信度反映的是测 验题 目之间的关系表示其测定相同内容或特 质的程度 。 它受到两种误差的影响 内容取样 和 所 取 样 的 行 为 变 量 的 同 质 性 针对两种误差产生 了分半信 度和同质性信度的概念以及相应的信度估计 方法 。 分半信度系指采用分半法估计所测得的 信度系数 。 通常在测验实施后将测验内容分 为等值的两半 。并分别计算分数的相关系数 。 以代表了两半测验 内容取样的一致性稳度 , 因而也称为内部一致性系数 。 为避免问卷前 后两半部性质 、 难度水平的不一致 , 况且准备 状态 、 结束 、 疲劳 、 厌倦等因素在测验开始和 结束部分是有所变化的 , 通常采取奇偶分半 法 。 即将题 目分为奇数和偶数题两半 。 同质性信度 代 表所有测验题 目得分的一致性 。 当各个测题 得分是正相关时测验是 同质的 , 当相关性很 低时测验为异质的 。 当测题为同质时 , 所有题 目都测量一个特质 , 而 当相关性不高是则被 视为异质的 。 在一些复杂的异质问题测量中 , 采用单一同质的测验是不足的 。 常常采用若 干个相对异质的测验 , 并使每个分测验具有 同质性 。 在某种意义上说 , 同质性介于信度和 效度之间 。 评分者信度 不同调查 者对同一被调查者进行询问也会产生偏差 。 所 以提高调查员的询问技术 , 统一指导语和 问话有利于控制误差的出现 。 如果评分者在 三人 以上 , 而且采用等级记分时可 以采用肯 德尔和谐系数来确定评分者信度 。 效度 通常是指测量结果 的有 效性或正确性 , 传统上被定义 为能测量到所 要测量对象的程度 。 效度依据测验和问卷调 一 一 查的研究 目的和效度的评估方法分为内容效 度 、 效标关联效度以及结构效度 。 内容效度 通过对测量 内容的系统检查 , 确定该测验是否为所要测 量 内容的代表性取样 。 编制调查间卷不可能 包含所要测量行为领域的全部可能的材料和 情境 。 只能选择其中一个有代表性样本 。 通 过观察被试对个别题 目的反映来推测其在总 体中的表现 。 因此取样的恰当性就显得非常 重要 , 选择题 目过难过易或偏于某部分内容 , 就会使调查对总体估计的准确性下降 。 可以 说 , 内容效度是指一个测验抽测量到具有代 表性的内容和行为的程度 。 且不同判断者的 评介也不会一致 。 效标关联效度 也称为效度 记 反映的是测验预测个体在某种 情境下行为表现的有效性程度 。 被试在测验 上的表现应与某种外在标准进行 比较 , 此标 准称为效标 。 标准效度考虑测验分数或结果 与效标间的关系 , 因此被定义为测验结果与 效标间的相关程度 。 根据效标获取的时间又 分 为同时效度 预测效 度 。 由于预测是复杂且 不标准的 , 所以此 已很少应用 。 结构效度 是指测验 能够测量到理论上结构或特质的程度 , 也就 是问卷所要测量的概念能显示有科学的意义 并符合理论上的设想 。 确定结构效度的常用指标 相容效度 测验 相同特质或结构的测验彼此之间接应有高度 相关 。 因此一个新测验与相似的旧测验之间 的相关可以做为衡量新测验所大致测量相同 行为的程度的标准 。 如果一个新测验与现有 测验 的相关很高而且并不简便或易于实施 , 那么就没有必要编制此问卷 。 因子分析 其主要 目的是找出事物的 特质 , 找出影响变量 、 支配变量的更本质的因 子 —共性 因子 , 因而最适合于结构效度的 © 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 中国健康教育 一 · 调查研究 · 研究 。在因子确定后 , 就可利用因素来描述测 验的组成如各个测验因子权数或负荷以及各 因素之间的相关 , 这种相关称为因子效度 。 内部一致性 有三种方法 ①考虑总分 数较高和较低两者在题 目上通过率的大小 , 每个题 目 总分 最 高 的 与总分最 低 的 的被试者 比较 , 如果前者在该题上的通 过率大于后者则认为该题 目是有效的 , 否则 应淘汰或修改 。 ②计算题 目与总分的相关 , 未 达到显著性水准者 , 应予淘汰 ③内部一致性 的标准是求分测验与总分的相关 , 未达到显 著性水平应删除 。 可见后二者皆属 同质性的 测量 。 会聚效度和区分效度 。 要确定一个问 卷的结构效度 , 则该问卷不仅应与测量相 同 特质或构 想等理论上有关的变量有高的相 关 , 也应与测量不同特质或构想等理论上相 同的变量有低的相关 。 前者称为会聚效度 , 后 者 称为 区别效 度 以 。 线性结构模型 闭 是近些年来发展起来的统计 技术 , 其综合地吸取了因子分析 , 多元相关 、 回归等多元统计技术的优点 , 并具备其它分 析方法所无有的优越性 , 其能处理潜变量即 不可观测变量 间的相互关 系 , 并能通过观察初始模型的修山系数 , 对研 究内容的结构模型进行调整 。 可以说此模型 是分析测量问卷结构效度最有效的工具 。 三 、信度和效度的标准 信度解释真实分数与实测结果的相关程 度 , 即总的方差 中有多少 比例是 由真实分数 决定的 。最理想的情况是相关系数 , 但 实际 中达不到 。 一般认为信度应在 以上 。 当 。 时不能用测验对人具作评价也不 能用于团体间差异的 比较 , 当 。 时可用 于 团体比较 , 时 , 可用于鉴别个人 。 效度系数用来比较各种测验有效性的大 小 , 效度 系数 仅指结构效度和标准效度 应 该达到多高水平 , 没有简单的一般标准 不过 测量分数与效标的相关必经达到显著水平如 或 水平 。 也就是确认该系数不是 由于取样或偶然误造成的 。 当然用描述不同 团体间差异的统计指标如 实验 、 检验 、 重 叠百分比也可以表示效度 。 四 、效度和信度的关系 信度和效度的差 别在于所涉及的误差不同 , 信度测量的是 随 机误差的影响 , 效度则是反映 由于测量了对 测验 目的无关的变量所引起的系统误差 。 以上对效度 、 信度的定义 、 内涵以及计算 方法进行扼要的 , 这将有利于调查研究 的科学性和真实性 , 在实际工作 中应注意 任何的问卷调查或测验都应有信度和 效度的说 明 , 否则得出的结果的推论的真实 性和可靠性将受到怀疑 。 也将不能应用于卫 生计划和决策指导实际工作中去 , 失去其存 在的价值 。 从上述论述 中可见 , 误差可产生在问 卷调查的任何环节从而降低结果的真实性和 可靠性 , 所以从调查的设计 、 问卷拟定 、 现场 实施及资料的汇总等整个过程都应注意质量 控制 , 以保证调查结果的信度和效度 。 在有现成 问卷的前提下 , 尽量不要 自 己设计问卷 , 须知一个 良好信度和效度的问 卷的设立常需一个复杂的过程 , 浪费大量人 力物力 , 且不能与其它研究进行分析比较 , 所 以最好应用现成问卷 。 信度分为重测 、 复本 、 折半 、 内部一致 性 , 而效度包含 内容 、 结构 、 标准三种效度 。每 一种信度或效度只是反映了调查中所产生误 差的一部分或某个方面 , 并不代表该调查研 究全部的真实性和可靠性 。 参考文献 略