Sunday, March 23, 2008

民調到底可不可信?

談談民調應該揭露的項目



每次選舉時,常常會聽到各政黨會在政論節目上談他們自己的「內部民調」,奇怪的是這些「內部民調」的數字,常常會和各大媒體調查的數據有不小的落差。這個最好笑的例子,除了2000年選舉的「國民黨內部民調」外,就屬今年2008年的「民進黨內部民調」最為經典了XD。

大家會相信媒體的民調不是沒有原因的。畢竟媒體長期扮演社會傳聲筒角色,即使現在一般社會大眾對於媒體、記者的印象再怎麼壞,還是很難不去相信各大媒體公布的民調。

但要不要相信一份民調,其實跟該媒體的大小是一點關係也沒有的,最明顯的例子就是現在台灣的最大報-蘋果日報的民調。

踢爆的公信力無法轉移到民調上


一個很詭異又很諷刺的現象,就是常常以獨家、踢爆豎立形象權威的蘋果日報,被他們「爆」出來的新聞常常讓人(大多是電視台記者)義無反顧的相信他們的報導,但他們的民調卻常常被許多媒體人持保留態度??

我想,關於蘋果日報民調的輕浮跟草率,我也不是第一次批評了。現在事隔兩年後再來檢驗,他們也是還依然故我(可見看我blog的人真的很少XD)。不過,最近的蘋果日報民調卻有一個小小的改變:

標明來源不能轉移沒有公信力的事實


是啦,雖然我的標題下「標明經費來源不能轉移沒有公信力的事實」,但事實上,蘋果日報的民調還是有在進步的。從2008年2月23日見報的民調開始,蘋果日報竟然破天荒的開始註明「經費來源」與「誤差範圍」,姑且不去談它的誤差有多麼大的問題,我想這對蘋果日報的讀者來講可說是好事一件啊!

本來以為蘋果日報就此會開始注重民調的信度問題,結果到3月22號為止,見報的16份民調只有12份有新標示經費來源與誤差範圍,這種三天捕魚兩天撒網、三天補習兩天去玩的作法,實在讓我很懷疑蘋果日報新標示這兩項只是「標好玩」而已。

如何檢視一份民調是否可信?

最近選舉我媽一直跟我說她不相信民調,我想對於她來講,民調的產生是一個很神秘的過程,再加上現在媒體很喜歡做民調,從國家大事到家裡瑣事都可以煞有其事的發表一個數據,而且這些民調很多都缺乏科學的「程序」,只是為了追求媒體效果與話題,也難怪我媽會不相信。

一般民眾到底該如何檢視一份民調是否可信?我想這也算是媒體識讀範圍,傳播科系出身的我,就來班門弄斧一下,用最簡單方式來和大家討論,一份民調到底該如何檢視是否可信的問題。

一個有公信力的民調應該經過以下幾關:

1. 抽樣方式
抽樣方式是最容易被忽略的項目,也是最難控制的項目之一。今天要做一份民調,是用亂數電話簿抽樣好?還是隨機拉路人抽樣?還是發E-mail抽樣?抑或是,乾脆請民眾打電話進來投票?這些都與民調是否可信有絕對關係。

舉例來講,如果用「市話」電話簿抽樣,是不是就只能調查到家裡有電話的人的意向?只有手機沒有市話的人就不管他了?

如果這份調查是由民眾主動聯繫調查而成的,那這份調查以下的關卡全部都不用檢視了,直接丟進垃圾桶就可以了。這個最常見的例子就是每次選舉辯論會,幾個無良的電視台就會開放民眾「電話語音投票」....「支持一號的請按110,支持二號的119」.....然後你就會發現,奇怪,怎麼辯論會還沒開始數字就開始跑了?怎麼三立台跟中天台領先的候選人都不一樣?這只是純粹自爽的調查罷了!

(你看到自己支持的候選人數字領先很爽,電視台看到所有數字加起來乘以30,再換算成新台幣也很爽)

換句話說,抽樣的方式是否合理的能夠涵蓋到適當的母體範圍,以及是否有按照比例對抽樣地區做分配,都是檢視一份民調是否可信的重要指標。

2. 抽樣時間
抽樣時間可不是隨隨便便標個幾年幾月幾號就可以呼嚨過去,應該連幾點幾分到幾點幾分調查通通都要寫才行。舉例來講,如果我今天調查3號唐鎮宇的支持度,結果挑了一個早上10點到12點來調查,你想結果會變成什麼?家庭主婦熟女對於唐鎮宇的支持度?還是超幼齒的3歲小妹妹對於唐鎮宇大哥哥的支持度?OL對我的100%支持跑哪去了?

3. 調查機構與經費
這是談所謂「機構效應」的問題,這個在今年大選特別被許多媒體注意到。講白一點就是說,民視做的民調可能先天上會比較容易偏綠,TVBS做的民調可能先天上會比較偏藍,這個在統計實務都必須要考慮進去。也許你會問,那國民黨跟民進黨他們公布的「內部」民調總是跟其他媒體不太一樣,也是機構效應嗎?老實講,我不認為這種自欺欺人可以跟統計誤差劃上等號。

4. 抽樣樣本數
這就是直接談到所謂誤差值的問題,統計學上有一套公式來計算抽樣樣本數、信心水準與信賴區間(就是所謂的誤差值),這牽扯到太多複雜的公式名稱與數據,在此我略過不多談。簡單來講,為什麼我在圖表上面的說明都寫「理想有效樣本數1068筆」,是因為根據歷來許多統計學家認為,有效樣本數愈多、信心水準愈高(現在一般慣例都設成95%,所以通常是不變的),誤差值就會愈小,但是取樣本也要考慮到效率的問題,不然你民調樣本數直接抓2300萬份不就最精準了?故專家認為1068筆是最能在研究效益與研究信度取得平衡的數據。

那也許你會問,說不定蘋果日報認為一個民調200個有效樣本數最符合他們的民調信度跟效率啊!OK,如果你要繼續當一個沒有民調公信力的媒體你就去吧,反正台灣海峽又沒加蓋,你隨時可以回去香港XD

如果這套說法成立,那很簡單嘛,以後調查只要用最精密、最謹慎、最科學的抽樣方式找到兩個抽樣樣本,用來代表全體台灣人民的前途意向,你講好唔好啊?

XDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXD

為符合人口比例,我們南部抽兩個、北部抽兩個、僑胞抽一個,很科學吧?南部...我看就以台南縣居民陳水扁做代表吧!另外一個...我想就以高雄市民謝長廷代表如何?至於北部,我想沒有人比三芝鄉民李登輝更有代表性吧!至於台北市民王世堅,我想他重然諾的個性,夠代表了吧!僑胞的話,有誰比金美齡更可信呢?

XDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXD

5. 無效樣本數
這個連一般比較有公信力的媒體民意調查都會忽略公布的數據。因為牽扯到一個民調是否有可信度的因素很多,從問卷題型、題目的設計,是用電腦語音訪問還是人工、調查人員的品質等....有太多的因素會影響,但受限於媒體版面與資訊傳達的訊息複雜度,沒辦法一一檢視,這時候可以用「無效樣本數」來窺知一二。

怎麼說呢?一份民調如果無效樣本數多,可能代表拒訪率高、訪問人員訓練不足、問卷題目設計有問題等造成的結果,如果一份民調是經過科學方式精密設計的,無效樣本數一定能夠控制在合理的範圍內。當然啦,現在詐騙集團盛行也會對民調產生一些影響,你說,你是不是接到電話是電話語音就直接掛上電話?

像我就曾經接到一通國民黨打來的民調,其中有一題問我「您是否贊成以台灣名義或以中華民國名義與大陸談判?」我當場就跟調查人員反應「你這個問題把兩個選項夾在一起,你叫我怎麼回答?」那對於這題,說不定我這個「樣本」就會被視為無效。

---------------------------------------------------------------------
以上幾個小小的提醒,希望能幫助大家以後不論是在讀報、看電視、看雜誌時,看到民調的時候,可以先用這幾個項目來分析這份民調是否可信,才不會動不動就被標題給唬住了!

‧延伸閱讀
 Yahoo知識+ ”信心水準”是什麼 降子的民調可信嗎?
 網路原生媒體的「原罪」
 違反學理的天下雜誌
 數字會說話?:報紙民調報導的可信度研究
 媒體狗仔 : BBC:聯合報的民調不準確

1 comment:

JOSÉ said...

在網路上看到這篇文章
謝謝拉
這樣我看報時候就能比較各家民調的準確性了
btw
可以請問您最近有看蘋果的報紙嗎?
他們於4/27/2011的民調可信嗎?可以請您分析來聽聽嗎?
因為我看他官網的民調方式,少很多東西