非抽样误差中的调查员误差研究

非抽样误差中的调查员误差研究 市场调研 非抽样误差中的调杏员误差研究 _王克林暨南大学 [摘要]本文研究了非抽样误差中的调查员误差的存在性,来源及其测定方法,从而为更好地 从调查员角度降低非抽样误差提供思路. [关键词]调查员方差偏移响应误差 一 ,引言 非抽样误差是指统计调查中,除抽样误差以外,由于各种原 因而引起的误差.它不仅存在于概率抽样,也存在于其他非概率抽 样与非全面调查以至全面调查,对调查结果的影响非常大.国外众 多实证研究都表明,非抽样误差在统计调查总误差中所占比重远远 超过抽样误差所占比重,因而受到统计调查理论研究者和实际工作 者的高度重视.由调查员引起的调查误差是国外在非抽样误差研 究中一个长盛不衰的主.外文中,般将此误差称为调查员方差 (1nterviewerVariance,以下简称lRV),它是指一个调查变量的 总方差中可以归因于调查员的部分. 国外对调查员的研究已是汗牛充栋,但在国内还没有专门研究 调查员的文献.笔者认为,造成这种尴尬局面的原因有两点:一是 我国基层调查经费不足,还不具备公开选拔和全面调查员的物 质条件.尽管在我国现行的一些调查中,尤其是不少专项调查中, 也非常注重调查员的选取和培训.但在很多常规调查中,调查员的 选取则很不科学.调查员往往由居委会,街道办的工作人员,退休 ,下岗工人等担任.二是我们对统计调查的重视程度还不高. 教师 无论是统计实务部门,还是研究机构,还没有充分认识到深入研究 调查员行为对提高调查质量的重要性.理论研究也没有提出相应的 支持依据.因而,全面深入研究调查员方差的产生根源与测定方 法,才能更好地从调查员的角度降低非抽样误差. 二,调查员方差的存在性 首先,我们要简单界定一下”偏倚”的含义.Hansen等 (1951)认为,影响相应误差的因素可以分为两类:一类是本质 的,必然的因素.如,调查员的素质,调查员的选取方法,报酬及 培训,调查项目受资助情况等;另一类是随机因素.如调查员提问 问题的方式,调查对象接受调查时的心情,调查对象对调查问题的 理解程度等.相应地,响应误差也包括两个部分,一个是必然产生 的,另一类是随机产生的.响应误差的期望值,以及围绕此期望 值波动的随机成份都可以看做是由影响响应误差的本质因素决定 的.这样,响应误差就会或多或少地表现出一些系统性的特征,这 就产生了”响应偏移”.目前,关于”响应偏移”至少有两种理 解.一是指由于某个调查员引起的非随机的响应误差;二是指所有 响应误差对样本均值的累积影响.一般我们将”响应偏移”理解为 第二种意思.即,调查中的响应误差使样本均值和总体均值产生差 异,”响应偏移”表示了这种差异的程度. 目前的文献中,有少部分是从理论角度探讨调查员方差存在 性的.当存在多个调查员时,为什么某个调查员的子样本均值会 与多个调查员的所有子样本的样本均值存在差异呢?Hansen等 (1951)利用模型证明,除非随机地分配给每个调查员一个调查 个体,否则,调查员对不同调查对象的影响是相关的.由于在实际 62《商场现代化》2010年9月(中旬刊)总第623期 调查中,一个调查员往往要对一定数量的调查对象进行调查并 调查结果,因而由某一个调查员引起的不同调查对象之间的调查误 差是正相关的.这就说明,当存在多个调查员时,调查员方差是存 在的.Freeman等(1976)从调查员所调查子样本均值围绕样本均 值波动的程度讨论了调查员方差的存在性.一种情况是响应误差在 每个调查员所调查子样本中随机出现,那么子样本均值将在一定程 度上围绕样本均值波动J~,gE从正态分布;另一种情况是响应误差在 每个子样本中的出现是非随机的,但样本均值无偏,此时子样本均 值围绕样本均值的波动将比第一种情况更加剧烈.两种情况的直观 表现就是子样本均值的波动.如果每个调查员的调查子样本是可比 的,如每个调查员调查的子样本是随机分配的,那么,利用方差分 析就可以证明诸子样本均值之间的差异是否显着.如果诸子样本均 值波动剧烈,在统计上是显着的而非偶然的,那就可以说明是响应 误差引起了这种差异.如果承认调查员对响应误差存在影响,也就 说明了调查员方差的存在性. 另外,更多的文献是从实证角度探讨调查员方差的存在性. Hanson和Marks(1958),美国人1:3普查局(1960)利用普查 数据进行了验证.Mahalanobis(1946),Stock等(1951), FeIdman等(1951),Gray(1956),Franzen等(1956), Gales等(1957),Kish(1962)等,都用不同方法利用抽样调查 数据对此问题进行了研究.实证结果表明,无论是普查,还是抽样 调查,调查员方差都是存在的.相对来讲,研究抽样调查中调查员 方差的文献要多一些. 三,调查员方差的来源 几十年来,国外学者,尤其是英国,美国和印度的学者都对调 查员何以会影响调查结果,调查员方差产生的原因及降低等进 行了广泛的理论和试验研究.限于篇幅,本文仅综述其中研究比较 集中的一些因素. 1调查员的人际交往能力.这是调查文献中研究比较集中的一 个问题.我们可能会猜想,调查员人际交往能力越强,其调查结果 的误差就会越小.但Richardson等(1965)的研究表明,调查员 的人际关系技Ij和分析技Ij与调查误差不相关.调查员的人际关系 技Ij可以帮助调查员获取调查对象的信任从而接受调查,但不会对 调查结果产生影响.对此,Williams(1968)有更精确的讨论.而 Cahalan(1968)的研究也表明调查员的人际交往能力和调查误差 之间关系很弱,人际关系可能增加也可能降低调查误差.例如,一 个具有较好的社交技Ij的调查员有可能更好地获得调查对象的信任 和配合,但同时也可能对调查结果产生更大的影响. 2调查员的解释能力.没有文献专门研究调查员的解释对调查 结果的影响,但它确是调查员方差产生的重要原因.在很多调查中 调查员也是信息解释员.当问题比较模糊,或者要获取的信息是调 市场调研 查对象很少想到的,这时就需要调查员的解释.类似地,调查员经 常需要解释调查记录以方便对调查结果的归类.当数据需要编码录 入时,也需要解释调查结果.如果一个调查是有组织的,对调查结 果的解释会出现两次:在调查过程中当调查员决定如何提问和决定 记录什么时,以及在编码员要将记录的调查结果转化成机读形 式时.当解释发生时,就很有可能引起误差.就是说,调查员可能 在其误差的方向和强度方面存在差异.如果调查员对某一问题有特 别的倾向,那么调查员本身的差异就会增加其对调查结果的影响, 其后果就是调查员方差的增加. 3.调查内容.Kish(1962),Hanson~1]Marks(1958)研究 了调查内容引起调查员方差的可能性他们的结果表明当利用无效 回答和其它回答作比较时;或者当调查员反对一些调查项目,因为 它们模糊不清,或者主观性太强,或者太复杂,或者过多的解释就 可能替代调查对象的回答时,调查员方差就会增加. 4社会地位差距.将调查员和调查对象结合在一起考虑是否会 产生更多的调查员方差呢?目前,没有文献利用调查员和调查对 象变量来解释调查员方差.但有关于调查员和调查对象结合的更 一 般的研究.有些方法论者争论说很少限制调查员和调查对象的 交流,而后者大都认为所有的调查对象都差不多.这种观点,引 出了Hyman等(1954)早期的研究.随后.Benney等(1956) 又提出了关于回答误差和可观测的社会差距之间关系的争论. Dohrenwend等(1968)的研究认为.社会差距与调查误差的关 系是曲线的:当社会差距很小时,调查员就很容易被调查对象接 受从而有利于获得误差较小的调查结果;相反,当社会差距很大 时,调查对象就会有潜在的较高的抵制反应.Weiss(1968)的 研究表明了不同的观点:调查对象和调查员之问社会差距的大小 并不是产生调查误差的本质原因,Dohrenwend等(1969)的评 论文章也支持这一点.跟这个主题相关的很多文献都强调调查员 的提示信号或者调查员与社会地位相关的一些反应都会影响调查 结果.这是Williams(1964)倡导的核心,同B,IWilliams的一些对 Dohrenwend和Weiss文章的评论文章也说明了这一点. 5意识形态.CahaIan等(1947),Ferber等(1952), Feldman等(1951)的研究都表明意识形态是决定调查误差的重 要因素.调查员独特的意见,信仰,信心等都会对调查结果产生影 响,更不用说调查员长期形成的意识形态对调查结果的持续影响. 此外,还有不少研究调查员方差来源的文献.如研究调查员的 性别,年龄,性格,能力,社会地位,阅历,形象,态度,人际关 系,提问的方式,甚至语调,种族等等对调查结果的影响.这些研 究相对要分散一些,在此不再一一列举. 四,调查员方差的测定方法 JStevensStock等(1951)根据一次具体调查实验发展了测 定调查员的变化性对总的调查误差的影响的方法,他还深入讨论了 抽样设计,问题类型等对调查员方差的影响:MorrisHHansen 等(1951)深入研究了调查员误差的测量方法,证明了调查员误 差是调查误差的一个重要方面;BarbaraBailar等(1977)通过一 个有控制的实验说明了调查员偏倚和方差的计算方法,同时.他还 通过另外一个实验说明成功的调查和调查员特征与态度之问的关 系;文章在国家犯罪调查和家庭收入调查中具体应用了MorrisH Hansen等(1951)的方法.王克林和刘建平(2009)分析了调查 员误差的产生机理并据此建立了计量模型,然后结合运用整群抽样 原理,提出了一种容易操作的测定调查员误差的方法. 五,结论 深入研究调查员方差是设计出有针对性的措施去降低调查员 方差的前提.如,从调查员的选择上,培训上,评价上及报酬的支 付等方面选择较好的方法去降低调查员方差,这是我们调查员方差 研究的最终目的.一般研究调查员方差的文献都会在最后给出选取 和培训调查员时应该注意的问题,也有文献专门研究如何降低调查 员方差.~zHAIbertBBlankenship(1949)详细研究了调查员在实 际调查工作中的实际操作技巧以及应该注意的问题;Schyberger (1967)通过一次具体调查研究了经验丰富和经验不足的调查员 之间的差别,他发现按照调查项目支付工资的调查员比支付计时工 资的调查员受到更大的激励;有训练的调查对象和仅仅是接到通知 便接受调查的调查对象的调查结果差距巨大;Stock等(1951)建 议通过培训和控制调查员,更认真细致的问卷设计,选用更大数量 的调查员等方法来降低调查员方差;HapperWBoyd(1970)的 研究表明,调查员误差是市场调查研究中误差的主要来源,他给出 了选拔,培训和控制调查员以降低调查误差的方法. 笔者认为,随着我国社会经济发展水平越来越高,人们对统计 数据质量的要求越来越高,我国对调查员的关注和研究也一定会逐 步向研究先进的国家靠近,我国提高统计数据质量的途径也会越来 越多.. 参考文献: [1tJohnFreenlanandEdgarW VarianceinSurveys.ThePublicOpinionQuarterly,Vo1.40,No.1 (Spnng,1976),PP7991 l2]MorrisHHansel1.WilliamN.Hurwitz,EliSMarks,andW.Parker Mauldin.ResponseErrorsinSurveysJournalofTheAmericanStatistical Association1U51 I3『J_Stex,ellsStockandJosephR.Hochstim.AMethodof MeasurillgInterviewerVariability.ThePublkOpinionQuarterly,Vo1. 15,No2(Stlllllller,1q51),PP.322—334 f4lBarharaBailar,LeroyBailey,JoyceStevens.Measuresof InterviewerBiasalldVariant’cJournalot’MarketingResearch,Vo1.14, No.3,SpecialIssue:Recent1)evelopmentsinSurveyResearch(Aug, 1977),PP.337—343 I_q~-克林刘建平:调查员误差的计量模型与测度方法【JJ统计 与决策20()9f1I)).11—12 l6lAlbert13Blankenship,ArchibaldCrossley,MyrnnS. Heidingsfield,HertaHerzog,ArthurKornhauser. Questionnail’t PreparationalldhlterviewerTechniqueTheJournalofMarketing,Vol 14,No3(Oct.,1’)4u),PP.399—433 I7IS(‘hyberger.AStudyofInterviewerBehax_1(,rJournalofMarketing P.escarch,Vo1.4,No1(Feb.,1967),PP.32—35 l81HarperW.Boyd,Jr.andRalphWestfall,Interview,erBiasOnce MoreRevisitedJournalofMarketingResearch,Vol7,No.2(May, 197()),PP.249—253 《商场现代化》201O年9月(中旬刊)总第623期63