调查问卷的设计与评估(完整版)

调查问卷的设计与评估根据福勒《调查问卷的设计与评估》整理什么是好问题？引出了答案，答案提供了设法描述内容的有效信息它引出的答案是对我们想要描述东西的可靠的、有效的测量所描述的状态一致时，答案也是一致的；答案与设法描述和测量的假想的“真值”尽可能一致。好问题的之一：受访者能够读懂问题（问卷）之二：受访者对问题的理解是一致的之三：受访者对回答问题的方式有一致理解之四：受访者拥有回答问题的信息之五：受访者愿意提供问题所需的答案过程标准：信度OR效度问题本身、问题形式、问题措辞、问题设计问题的类型客观问题：收集事实资料答案有对错之分主观问题：收集潜在信息答案没有对错之分客观问题撰写好问题的五个挑战界定目标受访者与研究者理解一致受访者理解一致知道答案愿意回答界定目标收入你现在的工作，每月能赚多少钱？在过去12个月里，你一共赚了多少钱？在过去12个月里，你的家庭总收入是多少？更明确的目标：社会地位、获取资源、就业质量造成问题质量差的一个主要原因是：研究者没有将问题目标转换成问题，仅仅以问题形式简单地表述问题目标。寄希望受访者来完成研究者的工作并提供符合问题目标的信息。糟糕调查问题的一个特征糟糕调查问题的一个主要来源是，研究者没有将问题目标转换成问题，仅仅以问题形式简单地表述问题目标。寄希望受访者来完成研究者的工作并提供符合问题目标的信息，这很少能行得通。调查内容与问题目标大纲示例调查目的：研究使用医疗保健的相关因素。落实步骤分析医疗保健的影响因素每个影响因素的测量目标可能的影响因素支付能力需要医疗保健获得价值看法调查内容与问题目标大纲示例（2）支付能力去年家庭年收入（所有来源）流动资产（存款）健康保险需要慢性病急性病受伤年龄/性别医疗保健获得有无固定保键服务者所感觉的距离服务者远近所感觉的获得难易程度所感觉的支付压力价值看法无病时（体检、拍片）慢性病急性病医疗保健的使用看病、其他医疗服务、急诊室就诊、住院概念和术语的界定例：在过去一周里，你运动了几个小时？“一周”什么含义？“运动”是否包括散步？在过去7天里，包括散步在内你运动了几小时？在过去7天里，你运动了几个小时？你以上回答包括散步吗？如果不包括你散步几小时？在过去7天里，你散步几小时？在过去7天里，你跑步几小时？在过去7天里，你其他运动几小时？确保受访者对语义有一致理解提供完整的定义，消除语义上的含糊不清让受访者提供全部所需信息，研究者自己进行进一步归类分析例：在过去12个月里，你遭受过入室盗窃吗？在过去12个月里，你遭受过入室抢劫吗？你的家人看到盗窃者了吗？盗窃者看到你的家人了吗？知道答案与记得答案缺乏回答问题所需信息知道信息，但很难回忆起来刺激受访者回忆答案：长问题、多重问题记得事件，但不记得确切时间设定时间节点：大事回忆、多次访谈答案的形式在过去30天里，你爬楼梯：A毫不费力，B有点费劲，C完全爬不动在你饮酒的哪些日子里，你通常喝多少？离你家最近的医院有多少里？向受访者提出一个他们能够完成并符合问题真实答案的回答任务回答准确性问题减少社会期望对答案的影响受访者倾向于把自己打扮得“更漂亮”如实回答可能会受到威胁缺陷：不是敏感的问题，而是敏感的答案缓解社会期望影响——资料收集过程私密性强调准确的必要性减少访员的影响缓解社会期望影响——问题设计的选择问题的适当性处理答案的含义例1在去年十一月的总统选举中，你投票了吗？由于工作较忙、迫于家庭压力、不感兴趣或者许多其他原因，人们有时不去投票。请回想去年十一月总统选举中，你有没有投票？例2你有借书证吗？许多人从图书馆借书，其他人则自己买书、订阅杂志，或用其他方式来获得阅读资料。请问你现在有没有一张借书证？缓解社会期望影响——问题设计的选择例3你昨天一共喝了几杯酒？当你喝酒时，通常喝几杯？你昨天喝酒：比平时多，比平时少，不相上下？请问昨天你一共喝了几杯？例4：问题顺序很重要在过去两周里你是否看过病或与医生谈论过你的健康状况？在过去一个月里你是否看过病或与医生谈论过你的健康状况？缓解社会期望影响——问题设计的选择例5与你的朋友相比你的酒量：更大、更小、不相上下你最能喝酒的朋友，通常喝几杯？当你喝酒是，通常能喝几杯？例6：选项的暗示性喝酒时，你通常喝几杯？选项：A一杯B两杯C三杯以上选项：A一二杯B三四杯C五六杯D七杯以上缓解社会期望影响——减少详细的答请问您的年薪为几万元？请问您的年薪为：A3万以下B3-6万C6万以上例请将你上周吸大麻的天数与你家现有可用电视机台数相加，总数是多少？你家现有可用电视机台数是多少？例你上个月吸过大麻吗？你母亲的生日是在6月吗？ 调研答案 无关问题 目标问题 修正比例 是 20% 4% 16% 32% 否 80% 46% 34% 68% 100% 50% 50% 100%主观问题医生对你友好程度如何？与其他小区相比，你觉得本小区的治安状况如何？你觉得奥巴马开明，保守，还是介于两者之间你时常快乐吗？你对政治事件的兴趣有多大？你参与投票的可能性有多大？界定所要评价的东西你们学校的老师对学生友善吗？非常友善、比较友善、一般友善、不友善、非常不友善你认为犯罪是严重问题吗？严重，一般严重，不严重设计答案的形式你如何评价自己总体的健康状况？很好，好，一般，不好，很不好0-10打分好，不好比较以下两个问题在一个从0分到10分的量表中，10分代表最正面，0分代表最负面，你如何评价你昨晚看到的电影？在一个从-5分到+5分的量表中，+5分代表最正面，-5分代表最负面，你如何评价你昨晚看到的电影？量值估计：如果农民工的社会地位是100分，你如何评价小学教师的社会地位以下问题设计得怎么样?你对宿舍条件满意吗？很满意有些满意满意不满意下述形容哪个能更好地描述你的医生？很能干且有条理，很能干且友善，较能干且友善，较能干但不友善同意——不同意形式例：我有时抑郁有些人有顺从倾向测量对观点的看法你是否赞成自主招生？自主招生制度包含很多内容学校类型学校范围具体政策招生范围你是否赞成提高自主招生比例？你是否赞成加大自主招生学校范围？不能简单询问对复杂问题的看法测量对观点的看法你是否赞成枪支管制法？“枪支管制法”对不同的人可能具有不同含义什么人才能购买枪支购买枪支的程序可以买什么样的枪支你是赞成还是反对关于禁止有暴力犯罪前科的人购买手枪的法律？思考下面的问题它们的含义相同吗？是否赞成是否反对是赞成还是反对在一个问题中用不同的形式是否能达到相似的结果？强烈同意、同意、不同意、强烈不同意多项目测量哥特曼量表——体能的维度你能从小房间的一边走到另一边吗？你能爬楼梯吗？你能走过城市的一个街区吗？你能走半里路吗？你能连续不停的跑半里路吗？理想的情况是：每个问题都界定了连续量表上的某个点。通过询问一组“是或否”的问题，然后再查看一组答案，人们就可以推断这个人落在连续量表的哪个位置上。多项目测量李克特量表测量共同的潜在变量 完全不符合 比较不符合 一般符合 比较符合 完全符合 1.学校决策过程公开公正 1 2 3 4 5 2.高级职称的教师能够参与课程和教学讨论 1 2 3 4 5 3.召开全校教职工大会很必要 1 2 3 4 5 4.在专业发展活动中，教师能够自主选择 1 2 3 4 5 5.教师能够参与学校重要的决策 1 2 3 4 5 6.教师在学校发展规划制定过程中能够发表意见 1 2 3 4 5有关主观状态答案的相对性主观状态问题的答案总是相对的，从来不是绝对的。恰当的表述甲组所的感受比乙组更积极学生报告的感受比一年前更积极不恰当的表述人们给总统一个肯定的评价学生对自己的学校感到满意学生大体上认为自己的健康状况良好有关主观状态答案的相对性问题的措辞：堕胎VS以外科手术的方式终止妊娠答案选项的措辞：禁止VS不许答案的次序：12345VS54321信息收集的模式：访员VS自填语境效应：你喝酒VS你的朋友喝酒你喝酒大多数受访者选择了某个选项，而不是“多数人赞成枪支管制”“多数人支持总统”“多数人反对堕胎”选项的设置你的健康状况如何?A非常好B比较好C一般D比较差E非常差A非常好B很好C好D尚好E差你的家庭藏书情况①0～10本②10～25本③25～50本④50～100本⑤100～200本⑥200～500本⑦500本以上①0～10本②11～25本③26～50本④51～100本⑤101～200本⑥201～500本⑦500本以上选项间距的设置2013年您的工资收入为①1万以下②1～2万③2～3万④3～4万⑤4～5万⑥5～6万⑦6万以上①1万以下②1～5万③5～10万④10～15万⑤15～20万⑥20～30万⑦30万以上选项的顺序我乐于助人为乐A.非常符合B.比较符合C.一般符合D.比较不符合E.完全不符合我不原意帮助别人A.非常符合B.比较符合C.一般符合D.比较不符合E.完全不符合社会期许度低的选项放前面处理不知道的回答者询问对非亲身经历的意见或看法询问亲身经历或感受筛选被访者多项选择题的设置你家里是否有以下物品?(多项选择)1.用于学习的书桌2.属于自己的一个房间3.安静的学习环境4.冰箱5.DVD播放机6.你学习使用的计算机7.计算机网络8.辅助学习的软件9.古典名著(如西游记、红楼梦)10.学习辅导材料11.诗词文集（如唐诗、宋词、元曲集）12.书画作品13.客厅 是 否 1.用于学习的书桌 1 0 2.属于自己的一个房间 1 0 3.安静的学习环境 1 0 4.冰箱 1 0 5.DVD播放机 1 0 6.你学习使用的计算机 1 0 7.计算机网络 1 0 8.辅助学习的软件 1 0 9.古典名著(如西游记、红楼梦) 1 0 10.学习辅导材料 1 0 11.诗词文集（如唐诗、宋词、元曲集） 1 0 12.书画作品 1 0 13.客厅 1 0排序问题以下是当前人们比较关心的问题，请你为其重要性排序A治理空气污染B减少失业C加强社会保障D降低个人所得税设想一个0分到10分的量表，8，9，10代表最重要，0，1，2，代表最不重要，而3~7分介于两者中间，就每一项的重要性，你会给出哪个数字？以下列举的品质中，哪三项是你最希望孩子具有的？（在A列中只能画3个圈）这三项中哪一项是你最希望有的？（在B列中只能画1个圈）这三项中哪一项是你第二希望有的？（在C列中只能画1个圈） A B C 有礼貌 1 2 3 努力获得成功 1 2 3 诚实 1 2 3 干净清洁 1 2 3 自我控制能力 1 2 3 正确判断能力 1 2 3 可以与其他孩子友好相处 1 2 3 有责任感 1 2 3 为他人着想 1 2 3 有好奇心 1 2 3 听父母的话 1 2 3问题的顺序过去7天里，老师给你布置的作业多不多？通常情况下，老师给你布置的作业多不多？通常情况下，你每周为饮食支出多少元？过去7天里，你为饮食支出多少元？你赞成美国的士兵加入德国的军队吗？你赞成美国的士兵加入英国的军队吗？问题安排顺序的一般重要问题放在前面非敏感问题放在前面社会期许度低的问题放在前面客观问题放在前面反向问题的设置为什么要设置反向问题缓解不认真的惯性回答反向问题的位置靠前一点就应该出现借鉴问卷可能存在的问题背景差异问题顺序翻译困难，如节点在不同语言之间的差异问卷的评估小组访谈小组规模人员组成认知实验：深入的个人访谈田野预调研认知实验让受访者自己解释对问题的理解让受访者来界定术语询问受访者是否有任何困惑询问受访者有多大意愿提供真实的答案询问受访者答案是如何做出的练习：选择一个问题进行认知实验参考问题过去7天里，你为饮食支出多少元？过去7天里，你的饮食支出是比平时多，还是比平时少？田野预调研（1）观察者为访谈过程进行行为编码 正确跳答 念读无误 次要错误 主要错误 打断 重复问题 其他追问 要求澄清 A1 22 2 1 A2 25 1 8 A3 25 5 1 1 A4 22 3 1 A4 9 11 6 1 1 3 A5 21 3 1 1 A5A 24 5田野预调研（2）访员问题评估表A没有明显缺陷B可能有缺陷C肯定有缺陷 难念 受访者有理解问题 受访者有作答困难 其他问题 备注 A1 A A A A2 B A A A3 A B A A4 A A A A4 A A B A5 C C B A5A A A A 好的问题设计原则摘要（1）原则1：向人们询问他们的第一手经验：做过什么、现状、感受和看法原则1a：询问二手获得的信息要谨慎原则1b：对假设性问题要谨慎原则1c：询问因果关系要谨慎原则1d：询问有关复杂问题的解决办法要谨慎好的问题设计原则摘要（2）原则2：一次只问一个问题原则2a：避免一次问多个问题原则2b：避免强加不合理假设的问题原则2c：对含有隐含情景条件的问题要谨慎好的问题设计原则摘要（3）原则3：推敲措辞，让每一个受访者都回答同样的问题原则3a：所有受访者理解含义，且有相同的理解原则3b：必须使用某些不易理解的术语时，提供概念定义原则3c：时间期限明确，有关情感或者行为的问题，必须有时间期限原则3d：不能概括为一个问题的复杂问题，就询问几个问题好的问题设计原则摘要（4-6）原则4：对答案的类型进行清楚的说明原则4a：对于可能有多个答案的问题，清楚说明答案的数量原则5：让访员和受访者尽可能轻松地完成阅读问题、遵循指示、答案等任务原则6：如果人们在回答问题时，用一致的方式来熟悉问题任务，就会有更好地测量好的问题设计原则摘要（7）原则7：选项是完备的，是互斥的，答案是有区分度的以下问题好不好？（1）你们社区的犯罪率是多少？你们社区里学校的平均质量怎么样？医生是如何治疗你的疾病的？不同的种族是否在就业中受到了公平对待？你预测孕妇生产时麻醉剂会被普遍使用吗？如果有一种新型的空间交通工具，你乐于使用吗？你的日常活动是否因背疼而受限制？你如果不去投票的主要原因是什么？你是因为房价高而无家可归吗？你认为中国教育的根本问题在哪里？你想致富和出名吗？以下问题好不好？（2）体能上你能毫不费力的跑步和游泳吗？就目前的经济状况而言，你认为买股票是好投资方式吗？你是否同意就目前的犯罪率而言，晚上不单独出行有其道理？目标：测量社会活动你上个月多久参加一次宗教仪式或教会有关的活动？目标：测量健康问题导致的身体活动受限上个月，你的健康状况妨碍你从事跑步、游泳或自行车等剧烈运动吗？当你喝酒时，你通常喝几杯？你能一口气跑上半英里吗？上周你有几天锻炼身体？当散步、做家务、上班干活都算作锻炼身体的话。七、问卷结构题目卷首语指导语问题与答案编码致谢问卷的扩展式功能卷首语自我介绍调查支持者调查内容调查目的问卷回收方式调查意义奖励措施保密性对调查者的希望为什么找到你怎么找到你必须参加吗结果将如何汇报要花费多长时间落款