暑假作業A-讀書心得 4732 2014-09-19 20:11:18
書名:操作技能直接觀察評量一致性之醫事放射教學經驗分享
作者:溫舒瑜; 黃安潔; 成佳憲; 黃國明
出處:台灣應用輻射與同位素雜誌 ; 10 卷 2 期 (2014 / 06 / 01) , P845 – 849
本研究目的使用操作技能直接觀察評量表訂定標準化評分規範,建立評量表單信效度及評分者一致性訓練,以提升教學成效及學習效果。比較兩者評核題目(面膜製作、鉛合金擋塊製作)之表單信效度,並收集15名臨床教師分別觀看教案標準帶、25名醫事實習學生及4名PGY學員側拍影帶之評分者一致性訓練成果。研究結果顯示:(1)兩者評核題目於紀錄審查表之同意度百分比皆達80%,內容符合正確性及適合性,顯示表單具專家效度;其Cronbach's α係數,分別為0.848 及0.787,達評量表具信度可接受之標準。(2)教案標準帶之前後測成績,其Pearson相關係數分別為:0.83(P < 0.005)、0.87(P < 0.001),顯示15名評分者間有顯著正相關,具良好一致性。(3)醫事實習學生側拍影帶之信度分析:Kappa(K)同意度係數:0.83及0.87、Kendall's W值:0.328(P < 0.01)及0.032(P < 0.01)、ICC(α)組內相關係數:0.83及0.87。(4)PGY學員側拍影帶之信度分析:Kappa(K)同意度係數:0.92及0.86、Kendall's W值:0.45(P = 0.00)及0.39(P = 0.00)、ICC(α)組內相關係數:0.92及0.86,皆顯示評分者間具有良好評分者一致性。
評量的信度可分為評分者一致性及分數信度,信度意指評量分數的一致性、可信賴及可重覆程度;評分者身分不論是資深臨床教師、技術主管,皆應接受評分者一致性訓練,方能排除個人主觀喜好,客觀有效地評分。將具信效度之評量表應用於評分者一致性訓練,共有15 名臨床教師參與,訓練流程為:未說明評分規範,直接觀看面膜及鉛合金擋塊製作教案標準帶,將第一次評分定為前測,接著開放性討論並依評分規範建立共識,取得共識後始得後測。收集前測與後測之成績進行Pearson 相關分析,檢測Pearson 相關係數,其相關係數越大且p<0.05,顯示該群教師的評分具有信度。
從標準清單建立、評分者之評分訓練包括:評分標準講解說明、相互討論、建立評分共識、觀看預先拍攝教案標準帶模擬評量、前後測及再測一致性反覆評量,此從無到有之建立過程並非立竿見影,需評分教師共同努力配合。在此提供幾點看法:(1)標準清單之建立內容需明確易懂,字句敘述具體,讓評分者有效地判斷問題提問所在;(2)初期執行階段,以教學意願且熱忱高之教師為首選,於共識會議時間不宜超過一小時,評分者之間若無法取得共識,建議擇日再開會討論,因冗長無交集之會議會讓教案無法推行;(3)建議兩次評分間隔時間若超過2 至4 週,評分者再測一致性之訓練是必要且重要,因評分者之加強訓練可強化主題構面評分規範,以求更佳的評分者一致性。具信效度之評量工具能明確定訂教學核心目標,評量結果客觀反映整體訓練成效作為日後改善之依據,臨床教師透過嚴謹評分者一致性訓練,熟悉評量技能構面及程序,提供有效回饋給學習者作為指引,進而大幅提升教學成效。