我們學過研究法後,當有人拿問卷給我們填寫,我們看到問卷一定要想兩件事:這個問卷測量的結果可不可靠,可不可以相信(Reliability),以及問卷可不可以測到想測量的東西(Validity)

 

在前一章我們提到信度Reliability就是在討論問卷做出來的結果可不可以相信,簡單的記法Reliability = Result。通常一個測量工具有很高的信度Reliability不一定會有很高的效度Validity;例如我們拿體重計去測量身高,每次測量出來的結果都很一致,我們可以說體重計具有很高的Reliability,但是由於他沒法真的測出身高,所以Validity很低。

 

效度Validity的英文是指法律的效力;在這裡是指一個測量工具是否能真正測量出所欲測量事物的特質或功能的程度;換句話說,效度的判別是把測量結果用來解釋測量主題的程度(是程度的多寡,並非全有或全無;就上例來說,用體重計測量身高,體重計的效度很低)其中效度又可以在不同的範圍裡提到:測量工具本身的效度(如上例)、實驗設計上的效度(Internal/External Validity內外在效度,實驗設計章節會解釋)、分析推論上的效度(即樣本結果能推論到母群的程度)

知道效度的功能後,接下來我們要怎麼知道某個測量工具是具有效度的呢?

1.      表面效度(Face Validity):指測量工具經由受試者或研究者主觀覺得與研究主題相關(也就是一看到測量工具,就知道研究者想測量什麼,所以是最沒有效力的一種)。例如我們設計一份「案主對機構服務的滿意度」問卷,案主或你的同事一看到問卷內容就知道大概是在做滿意度調查。

2.      內容效度(Content Validity):指某測驗之題目內容是否周延、具代表性、適切性、並確實包含所欲測量主題的內涵;通常為了讓問卷具有內容效度,我們會盡量去詢問專家的意見或參考文獻。例如我們在設計憂鬱症量表,我們可以根據DSM-IV將憂鬱症所包含行為及心情等表徵納入問卷設計中;例如在設計「同性戀者對社會適應的程度」的問卷量表,由於現有文獻不是很充足,我們必須去諮詢專家的意見,使量表更周延、適切。

3.      建構效度(Construct Validity):最複雜、也最簡單的一種測量效度的方法。其實就是指某測驗能測量某個理論的概念的程度(考試常考)。如果這個測量工具與某些概念的相關聯性很高,我們稱為Convergent Validity;反之,測量工具與另一些概念沒有相關性則稱為Discriminant Validity。通常實務工作者不太會用到這個方法,只有那種要測量理論概念的學者比較會用的到。例如我們想要設計一份關於「自尊」的問卷以了解這個概念,由於我們知道自尊跟「自信」的概念很相似(正相關;即自尊越高,自信越高),跟「自卑」的概念剛好相反(負相關;即自尊越多,自卑越少),我們透過文獻找出測量兩者的量表,讓同一群受試者填寫,若你設計的自尊量表與自信量表測出的結果有高度正相關,與自卑量表呈現負相關,我們說你的量表具有建構效度中的Convergent Validity

*相關程度與相關係數r會在統計裡提到,考試不會考計算,只要知道概念就好,所以不用太擔心。

4.      效標關聯效度(Criterion-related Validity):即測驗分數與效標之間的相關係數(白話文就是在測量某個主題時,拿我們設計的問卷A跟別人設計的問卷B同時在不同時間給受試者填寫,把兩次的結果A1&B1拿來做相關係數的比較;聽起來跟建構效度很像,不同的是建構效度是在測量理論的概念,效標關聯效度在測量其他具體的東西。效標:測量工具所欲測量之特質的獨立量數;即檢定測量工具效度的標準;也就是用問卷B去測我們要測的主題,產生的結果B1。) 

  效標關聯效度可以依照效標取得的時間分成下列幾種:

(1) 同時效度Concurrent Validity: 指效標分數與測驗分數同時取得,因此可以估計測驗分數在效標方面的實際表現。例如社工在執行課輔活動時可以設計一個英文成就測驗A,讓學生在段考前一天施測,之後再將測驗的成績A1與學生在學校的英文段考分數B1(英文段考考卷是B)作比較,如果成就測驗的成績A1與學校段考成績B1呈現高度相關,那我們可以說你的成就測驗具有同時效度(表示學生的英文成就測驗分數越高,其段考成績也會越高;雖然聽起來成就測驗A有預測的效果,但因為兩者的分數幾乎是同時取得,所以稱為同時效度)。

(2) 預測效度Predictive Validity:指測驗分數與將來效標資料之相關程度;若相關係數高,則測驗工具的預測效度越高。例如高中時,輔導室曾讓我們填寫就業性向測驗,此一測驗即可用預測效度來檢驗其效度;在這邊,效標就是我們未來的職業,研究者可以在數年後做電話追蹤,了解受試者在數年後的職業發展,如果結果跟當初的測驗成績有很高的相關,則這份測量工具有很高的預測效度。此外,我們也可以拿第一次段考成績跟第二次段考成績來做預測效度的檢驗(因兩者不是同時取得)

(3) 區分效度Differential Validity:拿兩種不同的測驗工具當做效標,分別與我們設計的工具的測驗結果求算相關係數,兩者的差即為區分效度。如上例,我們拿兩種不性質的就業性向問卷作為校標,分別計算與我們的測驗分數的相關係數,兩者的差可以表示擇業的成功性。

影響效度的因素:

   (1) 測驗內容:內容效度不佳,測量工具不具適切性、廣泛性、問句用語太艱澀、試題太多

   (2) 測量情境:是否具有標準化

   (3) 受試者 (Reliability),此外受試者之樣本抽取是否符合研究目的

   (4) 效標的使用不客觀、不可靠、不易取得、或無法適切反應測量之目的。

 

    切記:Reliability & Validity 不是全有或全無,是程度的差別而已;通常Validity是一個測量工具的首要條件,Reliability則是補充,因為若一個問卷沒法測出我們想要測量的東西,就算測量出的結果再穩定一致,也沒啥用。可以想像我們在射箭(箭代表很多受試者接受測量),我們希望箭都落在箭靶上(即測量出我們想要研究的東西),如果這些箭全落在紅心(即受試的結果一致、也測出我們想要測量的),表示高效度與高信度;箭平均分布在箭靶上(即結果很分散、落在紅心的箭也不多並沒測出我們預測的主題),表示低信度與低效度;如果箭全部集中在外圈的某部份(即結果蠻一致的,但因為落在外圈並沒有測量出我們想要的主題),表示高信度與低效度。

arrow
arrow
    全站熱搜

    n91074 發表在 痞客邦 留言(21) 人氣()