Showing posts with label 民調. Show all posts
Showing posts with label 民調. Show all posts

Sunday, March 23, 2008

民調到底可不可信?

談談民調應該揭露的項目



每次選舉時,常常會聽到各政黨會在政論節目上談他們自己的「內部民調」,奇怪的是這些「內部民調」的數字,常常會和各大媒體調查的數據有不小的落差。這個最好笑的例子,除了2000年選舉的「國民黨內部民調」外,就屬今年2008年的「民進黨內部民調」最為經典了XD。

大家會相信媒體的民調不是沒有原因的。畢竟媒體長期扮演社會傳聲筒角色,即使現在一般社會大眾對於媒體、記者的印象再怎麼壞,還是很難不去相信各大媒體公布的民調。

但要不要相信一份民調,其實跟該媒體的大小是一點關係也沒有的,最明顯的例子就是現在台灣的最大報-蘋果日報的民調。

踢爆的公信力無法轉移到民調上


一個很詭異又很諷刺的現象,就是常常以獨家、踢爆豎立形象權威的蘋果日報,被他們「爆」出來的新聞常常讓人(大多是電視台記者)義無反顧的相信他們的報導,但他們的民調卻常常被許多媒體人持保留態度??

我想,關於蘋果日報民調的輕浮跟草率,我也不是第一次批評了。現在事隔兩年後再來檢驗,他們也是還依然故我(可見看我blog的人真的很少XD)。不過,最近的蘋果日報民調卻有一個小小的改變:

標明來源不能轉移沒有公信力的事實


是啦,雖然我的標題下「標明經費來源不能轉移沒有公信力的事實」,但事實上,蘋果日報的民調還是有在進步的。從2008年2月23日見報的民調開始,蘋果日報竟然破天荒的開始註明「經費來源」與「誤差範圍」,姑且不去談它的誤差有多麼大的問題,我想這對蘋果日報的讀者來講可說是好事一件啊!

本來以為蘋果日報就此會開始注重民調的信度問題,結果到3月22號為止,見報的16份民調只有12份有新標示經費來源與誤差範圍,這種三天捕魚兩天撒網、三天補習兩天去玩的作法,實在讓我很懷疑蘋果日報新標示這兩項只是「標好玩」而已。

如何檢視一份民調是否可信?

最近選舉我媽一直跟我說她不相信民調,我想對於她來講,民調的產生是一個很神秘的過程,再加上現在媒體很喜歡做民調,從國家大事到家裡瑣事都可以煞有其事的發表一個數據,而且這些民調很多都缺乏科學的「程序」,只是為了追求媒體效果與話題,也難怪我媽會不相信。

一般民眾到底該如何檢視一份民調是否可信?我想這也算是媒體識讀範圍,傳播科系出身的我,就來班門弄斧一下,用最簡單方式來和大家討論,一份民調到底該如何檢視是否可信的問題。

一個有公信力的民調應該經過以下幾關:

1. 抽樣方式
抽樣方式是最容易被忽略的項目,也是最難控制的項目之一。今天要做一份民調,是用亂數電話簿抽樣好?還是隨機拉路人抽樣?還是發E-mail抽樣?抑或是,乾脆請民眾打電話進來投票?這些都與民調是否可信有絕對關係。

舉例來講,如果用「市話」電話簿抽樣,是不是就只能調查到家裡有電話的人的意向?只有手機沒有市話的人就不管他了?

如果這份調查是由民眾主動聯繫調查而成的,那這份調查以下的關卡全部都不用檢視了,直接丟進垃圾桶就可以了。這個最常見的例子就是每次選舉辯論會,幾個無良的電視台就會開放民眾「電話語音投票」....「支持一號的請按110,支持二號的119」.....然後你就會發現,奇怪,怎麼辯論會還沒開始數字就開始跑了?怎麼三立台跟中天台領先的候選人都不一樣?這只是純粹自爽的調查罷了!

(你看到自己支持的候選人數字領先很爽,電視台看到所有數字加起來乘以30,再換算成新台幣也很爽)

換句話說,抽樣的方式是否合理的能夠涵蓋到適當的母體範圍,以及是否有按照比例對抽樣地區做分配,都是檢視一份民調是否可信的重要指標。

2. 抽樣時間
抽樣時間可不是隨隨便便標個幾年幾月幾號就可以呼嚨過去,應該連幾點幾分到幾點幾分調查通通都要寫才行。舉例來講,如果我今天調查3號唐鎮宇的支持度,結果挑了一個早上10點到12點來調查,你想結果會變成什麼?家庭主婦熟女對於唐鎮宇的支持度?還是超幼齒的3歲小妹妹對於唐鎮宇大哥哥的支持度?OL對我的100%支持跑哪去了?

3. 調查機構與經費
這是談所謂「機構效應」的問題,這個在今年大選特別被許多媒體注意到。講白一點就是說,民視做的民調可能先天上會比較容易偏綠,TVBS做的民調可能先天上會比較偏藍,這個在統計實務都必須要考慮進去。也許你會問,那國民黨跟民進黨他們公布的「內部」民調總是跟其他媒體不太一樣,也是機構效應嗎?老實講,我不認為這種自欺欺人可以跟統計誤差劃上等號。

4. 抽樣樣本數
這就是直接談到所謂誤差值的問題,統計學上有一套公式來計算抽樣樣本數、信心水準與信賴區間(就是所謂的誤差值),這牽扯到太多複雜的公式名稱與數據,在此我略過不多談。簡單來講,為什麼我在圖表上面的說明都寫「理想有效樣本數1068筆」,是因為根據歷來許多統計學家認為,有效樣本數愈多、信心水準愈高(現在一般慣例都設成95%,所以通常是不變的),誤差值就會愈小,但是取樣本也要考慮到效率的問題,不然你民調樣本數直接抓2300萬份不就最精準了?故專家認為1068筆是最能在研究效益與研究信度取得平衡的數據。

那也許你會問,說不定蘋果日報認為一個民調200個有效樣本數最符合他們的民調信度跟效率啊!OK,如果你要繼續當一個沒有民調公信力的媒體你就去吧,反正台灣海峽又沒加蓋,你隨時可以回去香港XD

如果這套說法成立,那很簡單嘛,以後調查只要用最精密、最謹慎、最科學的抽樣方式找到兩個抽樣樣本,用來代表全體台灣人民的前途意向,你講好唔好啊?

XDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXD

為符合人口比例,我們南部抽兩個、北部抽兩個、僑胞抽一個,很科學吧?南部...我看就以台南縣居民陳水扁做代表吧!另外一個...我想就以高雄市民謝長廷代表如何?至於北部,我想沒有人比三芝鄉民李登輝更有代表性吧!至於台北市民王世堅,我想他重然諾的個性,夠代表了吧!僑胞的話,有誰比金美齡更可信呢?

XDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXDXD

5. 無效樣本數
這個連一般比較有公信力的媒體民意調查都會忽略公布的數據。因為牽扯到一個民調是否有可信度的因素很多,從問卷題型、題目的設計,是用電腦語音訪問還是人工、調查人員的品質等....有太多的因素會影響,但受限於媒體版面與資訊傳達的訊息複雜度,沒辦法一一檢視,這時候可以用「無效樣本數」來窺知一二。

怎麼說呢?一份民調如果無效樣本數多,可能代表拒訪率高、訪問人員訓練不足、問卷題目設計有問題等造成的結果,如果一份民調是經過科學方式精密設計的,無效樣本數一定能夠控制在合理的範圍內。當然啦,現在詐騙集團盛行也會對民調產生一些影響,你說,你是不是接到電話是電話語音就直接掛上電話?

像我就曾經接到一通國民黨打來的民調,其中有一題問我「您是否贊成以台灣名義或以中華民國名義與大陸談判?」我當場就跟調查人員反應「你這個問題把兩個選項夾在一起,你叫我怎麼回答?」那對於這題,說不定我這個「樣本」就會被視為無效。

---------------------------------------------------------------------
以上幾個小小的提醒,希望能幫助大家以後不論是在讀報、看電視、看雜誌時,看到民調的時候,可以先用這幾個項目來分析這份民調是否可信,才不會動不動就被標題給唬住了!

‧延伸閱讀
 Yahoo知識+ ”信心水準”是什麼 降子的民調可信嗎?
 網路原生媒體的「原罪」
 違反學理的天下雜誌
 數字會說話?:報紙民調報導的可信度研究
 媒體狗仔 : BBC:聯合報的民調不準確

[+/-] Read More...

Sunday, June 25, 2006

我聽大話新聞在放屁

DSC05054


其實我平常很少在看這些政論節目。原因不外乎亂爆料、鼓吹民粹、吵來吵去還不是沒結果等等,但我最受不了的,就是自詡「媒介」的電視台,常常會透過政論節目毫不客氣的、毫不迴避的表達電視台自己,甚至是主持人自己的立場在其中,然後又在節目中大言不慚的說自己是「中立的、客觀的」,真是令人作嘔!

--------------------------------------------------------------------------

昨天很榮幸的看到三立重播22日、也就是馬英九發表談話隔天的「大話新聞」節目,這集剛好要討論有關媒體報導立場的問題,由於跟所學有關,再加上我也好奇本身就代表媒體立場的節目,要怎樣來討論媒體立場偏頗的問題,所以就決定浪費一小時的時間來看。

節目主持人鄭弘儀首先拿出阿扁發表談話的隔天,AGB尼爾森所做的各家新聞台轉播阿扁及馬英九談話的收視率調查,並將各家新聞台各時段的收視率「加總」(請注意這裡)後,算得阿扁的「總和」收視率約莫40,馬英九約34;換算收視人口,阿扁約有四百萬人收看,馬英九則有約三百四十萬人(以上數據來自「大話新聞」)。

接著,鄭弘儀指出21日中國時報及聯合報的社論,認為這兩報故意將阿扁的談話渲染為「無聊、浪費黃金時段」的低收視率節目,卻迴避馬英九的電視演講收視率比阿扁低的事實;接著,又提出TVBS做的一則新聞,指稱TVBS刻意採訪眷村等長期以來被視為支持泛藍的群眾,質疑TVBS藉民眾的口批評阿扁用台語演講不當。

最後,鄭弘儀又拿出聯合報與中國時報22日做的民調,認為民調內容雖顯示有近六成的民眾不相信阿扁說沒有見過陳由豪,但民調中皆拒訪率超過30%,鄭弘儀請教節目來賓,「這樣的民調可信嗎?」「這樣的媒體可信嗎?」

----------------------------------------------------------------

很好、很好,很高興有同樣的質疑媒體民調觀點出現,對於我國的「媒體識讀」教育能夠有所提升;但鄭弘儀在節目中所持之論點,老實說實在是似是而非、引喻失義。

先就收視率來談,鄭弘儀犯了一個非常嚴重的錯誤,就是將收視率「加總計算」。由於AGB尼爾森提供的收視率數據中,可以精準到每15分鐘該台的收視率為何,於是鄭弘儀取了晚間八點到九點、各家新聞台每15分鐘的收視率,然後將各台20:00、20:15、20:30、20:45等四個時段的收視率數字加起來,得到各家電視台該節目的收視率「總和」,再將各家電視台的收視率加起來,得到「阿扁40、馬英九34」的數字。但我不禁要說,單一電視台各時段的收視率可以這樣加嗎?前15分鐘看該節目的閱聽人,後15分鐘就成為一個「新的閱聽人」,重新納入下一時段的數字?

鄭弘儀這樣的算法,是新聞台主管在比較收視率的「慣用簡易計算方法」,但這樣的算法除了忽略閱聽人重複的問題外,也容易凸顯、放大欲比較數據的差異,使得原本收視率就比較低的節目,帳面上的差距會看起來更大。這樣的比較法,似乎過於草率吧?

接著是媒體框架與意識型態的問題;大家都很清楚,哪些電視台是偏藍、哪些電視台是偏綠,這是長期以來的問題,只要沒違反黨政軍三退的法律,老實說實在無須再討論,也很難改變。何況出錢的老闆又不是你,你有什麼資格去質疑人家的立場?我們只能用「期許」的態度,來「敦促」這些媒體能夠往中立、客觀的方向走。

但,節目中的資深媒體人黃光芹卻一昧要凸顯媒體節目藍比綠多的事實,企圖塑造「泛綠是被媒體打壓」的可憐本土政權。但我想問,媒體監督政府、站在執政黨的反對面,是身為第四權天職耶!套句阿扁的名言,「難道錯了嗎?真的錯了嗎?」

媒體本來就會有自己的框架與意識型態的問題。新聞產製過程中所經歷的重重守門,都會對新聞本身的取鏡角度與立場產生干擾,進而影響閱聽人對於該議題的認知與觀點;但閱聽人也會根據本身的文化資本、意識型態、社經地位等眾多因素,對媒體訊息產生選擇性的記憶、理解、解讀。

這些論點在傳播領域中有一缸子的理論與研究可以說明,有些相衝突的論點幾百年來說也說不清。我上頭講的每一句話,每個都可以變成研討會的主題,討論個三天三夜還不一定有結果,豈是你們這個幾小時的節目、三言兩語就可以說得清?

不過,鄭弘儀倒是點出了一個滿不錯的點:民調拒訪率的問題。雖然鄭弘儀很明顯的企圖強調「拒訪率高」來暗指媒體民調不準,而節目來賓也多半未能針對這點提出說明;但關於這點,其實滿值得大書特書的。

電話簿的隨機抽樣拒訪率高,可能包含了某種政黨傾向的民眾因意見氣候而拒訪、問卷設計有瑕疵、詐騙集團盛行、抽樣時間的問題、手機持有率的提升,甚至是民眾消極的抵制媒體等等,有太多太多的因素可以拿來討論,甚至還能做成銘報專題報導了XD。若就這點來討論民調公信力乃至於抽樣、問卷題目的問題,我希望鄭弘儀也能夠以同樣的標準來檢驗自由時報的民調題目,或是在他眼中代表「香港觀點」的蘋果日報民調。

話再說回來,既然鄭弘儀總是自詡為中立、客觀的媒體評論主持人,就應該確實的貫徹自己的理念,不要好的不學,學李濤那樣當主持人當到涉入新聞事件本身,都不是個很好的例子;你既然高舉中立之旗,是不是就不要太顯露自己的政治立場?如果這種事都做了,又怎樣讓觀眾相信你是中立的、客觀的?還好意思說「留給觀眾公評」!

‧延伸閱讀
 ‧南方快報《媒體修理站》媒體不能把民調當作時光機
 ‧《新聞學研究》第55期 民調是高明的騙術?
 ‧《新台灣新聞周刊》第421期 最後「翻盤」乃無稽之談
 ‧新聞組織的新聞產製過程圖解

[+/-] Read More...