信度效度

null信度、效度信度、效度2005/7/13測驗品質的依據測驗品質的依據效度 信度 客觀 經濟 實施簡單 常模 有趣標準化測量工具的發展流程標準化測量工具的發展流程測驗編製計劃 試題編寫 預試 項目（item analysis） 正式量表建立 信效度評估 量表研究與維護 常模（norm）信度(reliability)信度(reliability)意義: 測量的可靠性 trustworthiness 一致性（consistency）─表示測驗內部試題間是否相互符合 穩定性（stability）─不同的測驗時點下，測驗分數前後一致的程度 信度的數學原理 凡測量必有誤差，誤差由機率因素所支配，為一隨機誤差（random error） 測驗分數=真實分數+誤差分數 測驗總變異量=真實分數的變異＋隨機誤差變異 信度係數介於0與+1之間，數值越大，信度越高 影響信度的因素 影響信度的因素 影響信度的關鍵因素是測量誤差，可以減低誤差的方法，即能夠提高信度。 基本原理：中央極限定理 、測量標準誤、共變量的計算 影響信度的因素 受試者因素（如受測者的身心健康狀況、動機、注意力、持久性、作答態度等變動） 主試者因素（如非標準化的測驗程序、主試者的偏頗與暗示、評分的主觀性等等） 測驗情境因素（測驗環境條件如通風、光線、聲音、桌面、空間因素等皆有影響的作用） 測驗內容因素（試題取樣不當、內部一致性低、題數過少等） 時間因素 信度信度缺乏信度的原因 題目的缺點 題目的難易 題數 類似性 受試者特質 工具施測的瑕疵 計分程序增加信度的方法 題意清楚 適當的難易度 實施（計分）程序標準化 讓受試者處於正常狀態 題數要夠 每題都能測量相同成果信度的類型 信度的類型 再測信度（test-retest reliability） 係指以同一種測量工具，對同一群受試者，前後測驗兩次的相關係數。又稱穩定係數。 複本信度（a1ternate-form reliability） 同一群受試者接受兩種複本測驗的得分之相關係數。 折半信度（split-half reliability） 測驗題目依題目的單雙數或其他方法分成兩半，計算受測者在兩半測驗上的分數的相關係數。 內部一致性係數（coefficient of internal consistency） 反映測量工具內部同質性、一致性或穩定度。同質性越高，代表量表試題是在測量相同的特質。KR20適用於二分變數的測量，Cronbach’s α適用於多元尺度變數的測量 評分者間信度（inter-rater reliability） 不同的評量者間分數的相關係數。什麼是測量的標準誤？什麼是測量的標準誤？是一種測量誤差的單位（指數） 效度(validity)效度(validity)效度的意義 測量的正確性，指測驗或其他測量工具確能測得其所欲測量的特質或功能之程度 測量的效度愈高，表示測量的結果愈能顯現其所欲測量對象的真正特徵 測驗的效度通常以測驗分數與其所欲測量的特質之間的相關係數表示之 評估效度的方法 判斷法（informed judgment）─測量特性與質的評估 實徵法（gathering of empirical evidence）─根據具體客觀的量化指標來進行評估 影響效度的原因影響效度的原因操作型定義 任務與操作型定義的配合 工具的可信賴度 其他測量過程因素─實施過程標準化 樣本性質─ 選用異質性高的樣本 樣本的代表性 效標因素 不適當的效標選用 效標本身的測量品質 干擾變項效度的類型效度的類型內容效度 效標關連效度 預測效度 同時效度構念效度 與其他工具求相關 實驗研究 比較已經確定各組的分數 測驗內部分析 三種不同的效度三種不同的效度內容效度（content validity） 反映測量工具本身內容廣度的適切程度，強調測量內容的廣度、涵蓋性與豐富性 針對測量工具的目標和內容，以系統的邏輯方法來詳細分析，又稱為邏輯效度（1ogical validity） 表面效度（face validity），指測量工具在外顯形式上的有效程度 三種不同的效度三種不同的效度效標關聯效度（criterion-related validity） 以測驗分數和特定效標（criterion）之間的相關係數，表示測量工具有效性之高低。 同時效度（concurrent validity）與預測效度（predictive validity）三種不同的效度三種不同的效度構念效度（construct validity） 指測量工具能測得一個抽象概念或特質的程度。 多元特質多重方法矩陣法（multitrait-multimethod matrix）：聚斂效度（convergent validity）及區辨效度（discriminant validity）。 因素效度（factorial validity）：一個測驗或理論因素結構的有效性。 信度與效度之關係 信度與效度之關係 信度代表測量的穩定性與可靠性，效度為測量分數的意義、價值與應用性 實際效度（rxy）≦信度（rxx）的平方根 信度的平分根是效度係數的上限。當信度越高，效度係數即可能越大。 原始資料的電腦化原始資料的電腦化Computerized Raw Data原始資料的電腦化原始資料的電腦化原始資料(raw data): 反應受測者在問卷實際填答情形的資料型態 紙本原始資料(raw data on paper) 電腦化原始資料(computerized raw data) 編碼或過錄(coding): 由紙本原始資料轉換成電腦化原始資料的過程 編碼與工具發展應同步進行 編碼架構(framework) 過錄流程(procedure)資料的基本類型資料的基本類型文字資料的過錄文字資料的過錄步驟一：分類與計量 步驟二：虛擬化變項(dummy variable) 虛擬化 文字轉數字 類別轉連續 虛擬化的問題 解釋上的困難 編碼的瑕疵與困難度 分析方法的問題編碼簿（Codebook)編碼簿（Codebook)功能 提供標準化的作業流程 溝通的功能 工作憑據的建立與工作記憶的留存 內容 變項名稱與標籤 變項數值與標籤 遺漏值處理 SPSS可利用公用程式來確認編碼表null廢卷處理 廢卷處理 回收控制與登錄 遺漏與補漏處理 不良答題型態的處理 反應心向的處理資料電腦化的處理原則資料電腦化的處理原則資料輸入以編碼系統為依歸 充分的訓練 良好的作業環境與流程安排 資料保密工作的落實 工作記憶的保留資料檢核與數據準備 資料檢核與數據準備 Data Screening and Checking資料查核資料查核目的在確認研究資料的正確性(accuracy)，確保研究資料的完整性(completion)與堪用程度(availability) 數據查核與清理: 檢查資料的正確性 數據整備: 重新整理資料以備分析支用 資料查核 過程查核 ─資料未完成輸入前所進行的資料檢查程序 定點查核、定時查核或專人查核 終點檢核─資料完成輸入之後所進行的資料檢查程序 可能性檢查(wild code checking)與邏輯性查核(logical or consistency checking) 資料準備 資料準備 一、反向題處理 二、遺漏值處理 系統性遺漏 遺漏值的處置與估計 編製階段: 發展良好的工具 鍵入階段: 立即反應。搭配編碼系統來進行 鍵入後補漏: 錯誤補漏。相關題研判 鍵入後估計 中間數估計法 平均數估計法 迴歸估計法 偏離值的處理偏離值的處理偏離值(outlier)─指變項偏離常態、不尋常的數值，也就是與多數受測者的反應數值極端不同的狀況。 與極端值(extreme)─嚴重的偏離情形 單變項偏離值的處理 次數分配與直方圖的使用 盒狀圖的運用 雙(多)變數的偏離現象單變項偏離: 直方圖的使用單變項偏離: 直方圖的使用極端值null單變項偏離: 盒狀圖的使用雙變項(單類別與單連續變項)偏離檢驗 雙變項(單類別與單連續變項)偏離檢驗 三變項(單類別與單連續變項)偏離檢驗 三變項(單類別與單連續變項)偏離檢驗 雙變項(雙連續)偏離檢驗 雙變項(雙連續)偏離檢驗 偏離值的處理 偏離值的處理 錯誤偵測: 重新調閱文本資料以確知資料的正確性 虛擬變項分析法: 將偏離值視為一組，非偏離值為一組，進行區別函數分析以確定那些變項可以區分此二組，這些變項便可能是造成多變項偏離值的變項，再以散佈圖來描繪該數值的位置。 去除法 合併組法 數學轉換法 反應心向 反應心向 受試者在填答問卷時，無論測驗的內容和情況如何，受試者具有一種比較固定的作答傾向稱為反應心向(Wiggins, 1973) 反應心向的發生，有時是有意識的，有時是無意識的。但皆會影響資料的正確應用 反應心向的處理 系統性偏誤(廢卷處理法) 人格屬性的變項化處理 (事前估計法、統計控制法) 使用不同的測驗形式 常見的反應心向常見的反應心向離異反應心向(deviation)─受試者傾向於回答特殊的 順從心向或唯唯諾諾(acquiescence)─受試者傾向於回答同意(yeasayers)或不同意(naysayers)的答案 作答粗心(careless responding)或題項遺漏(omitting items) 偽善(faking good)與偽惡(faking bad) 批判、攻擊傾向(criticatness or aggression)，指受試者的答案均較具有批判性或攻擊性。 社會讚許或社會偏愛反應心向（social desirability），也就是指受試傾向於以社會大眾所歡迎的語句或選項來描述自己的狀態，避免使用社會不贊同、具負面評價的填答方式。 基本統計假設的檢驗基本統計假設的檢驗常態性檢驗 觀察值必須符合常態分配的特性(normality） SPSS: 統計分析→摘要→資料預檢 變異數同質性檢定（homogeneity of variance） 在平均數差異檢定（t檢定）與變異數分析中，不同組別中的觀察值，不僅應符合常態分配的假設，同時樣本的變異數應具有同質性，而無太大的差異 SPSS: 統計分析→摘要→預檢資料→因子擴散圖附Levene檢定→設定於不轉換 基本假設違反通常必須對於資料進行轉換 SPSS: 預檢資料→ Levene檢定→冪次估計