談談民調應該揭露的項目
每次選舉時,常常會聽到各政黨會在政論節目上談他們自己的「內部民調」,奇怪的是這些「內部民調」的數字,常常會和各大媒體調查的數據有不小的落差。這個最好笑的例子,除了2000年選舉的「國民黨內部民調」外,就屬今年2008年的「民進黨內部民調」最為經典了XD。
大家會相信媒體的民調不是沒有原因的。畢竟媒體長期扮演社會傳聲筒角色,即使現在一般社會大眾對於媒體、記者的印象再怎麼壞,還是很難不去相信各大媒體公布的民調。
但要不要相信一份民調,其實
跟該媒體的大小是一點關係也沒有的,最明顯的例子就是現在台灣的最大報-蘋果日報的民調。
一個很詭異又很諷刺的現象,就是常常
以獨家、踢爆豎立形象權威的蘋果日報,被他們「爆」出來的新聞常常讓人(大多是電視台記者)義無反顧的相信他們的報導,但他們的民調卻常常被許多媒體人持保留態度??我想,關於蘋果日報民調的輕浮跟草率,
我也不是第一次批評了。現在事隔兩年後再來檢驗,他們也是還依然故我(可見看我blog的人真的很少XD)。不過,最近的蘋果日報民調卻有一個小小的改變:
是啦,雖然我的標題下「標明經費來源不能轉移沒有公信力的事實」,但事實上,蘋果日報的民調還是有在進步的。從2008年2月23日見報的民調開始,蘋果日報竟然破天荒的開始註明「
經費來源」與「
誤差範圍」,姑且不去談它的誤差有多麼大的問題,我想這對蘋果日報的讀者來講可說是好事一件啊!
本來以為蘋果日報就此會開始注重民調的信度問題,結果到3月22號為止,見報的16份民調只有12份有新標示經費來源與誤差範圍,這種三天捕魚兩天撒網、三天補習兩天去玩的作法,實在讓我很懷疑蘋果日報新標示這兩項只是「標好玩」而已。
如何檢視一份民調是否可信?最近選舉我媽一直跟我說她不相信民調,我想對於她來講,民調的產生是一個很神秘的過程,再加上現在媒體很喜歡做民調,從國家大事到家裡瑣事都可以煞有其事的發表一個數據,而且這些民調很多都缺乏科學的「程序」,只是為了追求媒體效果與話題,也難怪我媽會不相信。
一般民眾到底該如何檢視一份民調是否可信?我想這也算是媒體識讀範圍,傳播科系出身的我,就來班門弄斧一下,用最簡單方式來和大家討論,一份民調到底該如何檢視是否可信的問題。
一個有公信力的民調應該經過以下幾關:
1. 抽樣方式抽樣方式是最容易被忽略的項目,也是最難控制的項目之一。今天要做一份民調,是用亂數電話簿抽樣好?還是隨機拉路人抽樣?還是發E-mail抽樣?抑或是,乾脆請民眾打電話進來投票?這些都與民調是否可信有絕對關係。
舉例來講,如果用「市話」電話簿抽樣,是不是就只能調查到家裡有電話的人的意向?只有手機沒有市話的人就不管他了?
如果這份調查是由民眾主動聯繫調查而成的,那這份調查以下的關卡全部都不用檢視了,直接丟進垃圾桶就可以了。這個最常見的例子就是每次選舉辯論會,幾個無良的電視台就會開放民眾「電話語音投票」....「支持一號的請按110,支持二號的119」.....然後你就會發現,奇怪,怎麼辯論會還沒開始數字就開始跑了?怎麼三立台跟中天台領先的候選人都不一樣?這只是純粹自爽的調查罷了!
(你看到自己支持的候選人數字領先很爽,電視台看到所有數字加起來乘以30,再換算成新台幣也很爽)
換句話說,抽樣的方式是否合理的能夠涵蓋到適當的母體範圍,以及是否有按照比例對抽樣地區做分配,都是檢視一份民調是否可信的重要指標。
2. 抽樣時間抽樣時間可不是隨隨便便標個幾年幾月幾號就可以呼嚨過去,應該連幾點幾分到幾點幾分調查通通都要寫才行。舉例來講,如果我今天調查3號唐鎮宇的支持度,結果挑了一個早上10點到12點來調查,你想結果會變成什麼?家庭主婦熟女對於唐鎮宇的支持度?還是超幼齒的3歲小妹妹對於唐鎮宇大哥哥的支持度?OL對我的100%支持跑哪去了?
3. 調查機構與經費這是談所謂「機構效應」的問題,這個在今年大選特別被許多媒體注意到。講白一點就是說,民視做的民調可能先天上會比較容易偏綠,TVBS做的民調可能先天上會比較偏藍,這個在統計實務都必須要考慮進去。也許你會問,那國民黨跟民進黨他們公布的「內部」民調總是跟其他媒體不太一樣,也是機構效應嗎?老實講,我不認為這種自欺欺人可以跟統計誤差劃上等號。
4. 抽樣樣本數這就是直接談到所謂誤差值的問題,統計學上有一套公式來計算抽樣樣本數、信心水準與信賴區間(就是所謂的誤差值),這牽扯到太多複雜的公式名稱與數據,在此我略過不多談。簡單來講,為什麼我在圖表上面的說明都寫「理想有效樣本數1068筆」,是因為根據歷來許多統計學家認為,有效樣本數愈多、信心水準愈高(現在一般慣例都設成95%,所以通常是不變的),誤差值就會愈小,但是取樣本也要考慮到效率的問題,不然你民調樣本數直接抓2300萬份不就最精準了?故專家認為1068筆是最能在研究效益與研究信度取得平衡的數據。
那也許你會問,說不定蘋果日報認為一個民調200個有效樣本數最符合他們的民調信度跟效率啊!OK,如果你要繼續當一個沒有民調公信力的媒體你就去吧,反正台灣海峽又沒加蓋,你隨時可以回去香港XD
如果這套說法成立,那很簡單嘛,以後調查只要用最精密、最謹慎、最科學的抽樣方式找到兩個抽樣樣本,用來代表全體台灣人民的前途意向,你講好唔好啊?
XDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXD
為符合人口比例,我們南部抽兩個、北部抽兩個、僑胞抽一個,很科學吧?南部...我看就以台南縣居民
陳水扁做代表吧!另外一個...我想就以高雄市民
謝長廷代表如何?至於北部,我想沒有人比三芝鄉民
李登輝更有代表性吧!至於台北市民
王世堅,我想他重然諾的個性,夠代表了吧!僑胞的話,有誰比
金美齡更可信呢?
XDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXD
5. 無效樣本數這個連一般比較有公信力的媒體民意調查都會忽略公布的數據。因為牽扯到一個民調是否有可信度的因素很多,從問卷題型、題目的設計,是用電腦語音訪問還是人工、調查人員的品質等....有太多的因素會影響,但受限於媒體版面與資訊傳達的訊息複雜度,沒辦法一一檢視,這時候可以用「無效樣本數」來窺知一二。
怎麼說呢?
一份民調如果無效樣本數多,可能代表拒訪率高、訪問人員訓練不足、問卷題目設計有問題等造成的結果,如果一份民調是經過科學方式精密設計的,無效樣本數一定能夠控制在合理的範圍內。當然啦,現在詐騙集團盛行也會對民調產生一些影響,你說,你是不是接到電話是電話語音就直接掛上電話?
像我就曾經接到一通國民黨打來的民調,其中有一題問我「您是否贊成以台灣名義或以中華民國名義與大陸談判?」我當場就跟調查人員反應「你這個問題把兩個選項夾在一起,你叫我怎麼回答?」那對於這題,說不定我這個「樣本」就會被視為無效。
---------------------------------------------------------------------
以上幾個小小的提醒,希望能幫助大家以後不論是在讀報、看電視、看雜誌時,看到民調的時候,可以先用這幾個項目來分析這份民調是否可信,才不會動不動就被標題給唬住了!
‧延伸閱讀 Yahoo知識+
”信心水準”是什麼 降子的民調可信嗎? 網路原生媒體的「原罪」 違反學理的天下雜誌 數字會說話?:報紙民調報導的可信度研究 媒體狗仔 : BBC:聯合報的民調不準確
[+/-] Read More...
[+/-] Summary only...