Werden wir Helden für einen Tag

Home | About | Archive

How to report a survey?

Posted on Feb 11, 2008 by Chung-hong Chan

每個星期日,環保團體都愛搞些記者會來搏見報。之前都嘈過唔少次。最直截了當的方法是找找本網誌,以環保來作 Keyword
情人節快到,送花送車送樓又是一個環保災難。環保組織當然有義務責任去 Condemn 這種平民會做、又相當不環保的行為。 ((潛台詞:生意佬一年到晚都是送花送車送樓送洋酒送鮑魚來爭生意,也亦相當不環保。只是無人會去 Condemn 他們。用最近的一句潮話:環保組織面前,窮人都含忍。)) 環保組織永遠最錯的,是常常用他們的所謂科學調查去支持他們的論調,而香港傳媒缺乏科學訓練真的以為那些調查相當科學,照登如儀。實在公眾不知幾想環保組織說情人節不環保,那就可以「慳返」。 ((雖然花店多得你唔少。)) 這種意見,在香港這種反智環境,只需要 Opinion Leader 講兩句就可以,真的無需要調查。因為這個所謂意見調查實在是幫倒忙。
記者在報道這類新聞時,可否學懂問自己一些問題:

  1. 訪問的樣本是從那裡而來?是不是隨機樣本?如果只是訪問該環保組織內的會員,意見有沒有偏頗?又或者只訪問 she.com 內的會員,結果又如何?如果環保組織聲稱那意見調查希望調查港人對情人節送禮的意見,樣本就要有代表性。之前在報道理大調查做假數時,就算用電話隨機打電話號碼,亦不能獲得有代表性的隨機樣本,因為一般家庭接聽電話的多數係師奶,亦因此調查只反映香港師奶意見,而不是大部份港人意願。故此要做多一層隨機抽樣,就要是選取接聽電話一家最近生日的那一位。報紙報道理大調查醜聞時振振有辭話理大不做第二層隨機樣本是不會做調查,為何又不理解環保組織每一個調查都是一個大醜聞?
  2. 樣本細少是另一個致命傷。一般的調查,除非意見分野非常明顯 ((例如阿媽係唔係女人?)) ,否則梁安琪不會去上的 Social science 101 會教的 Rule of thumb 是,要將調查的誤差控制到 3% 或以下,樣本數最少 1000 。這是國際公認的標準。這是因為結果的誤差是以這樣的公式計算:1.96 * SQRT [(p*1-p)/n] 。n 就是樣本數。假定樣本具代表性,樣本愈大誤差愈細。環保組織今次只有 130 個男和 255 個女。問女士情人節是否想收花,有 15% 話不送較好、19% 話送會較好。這樣的數據,字面上已經表示,送花比不送較好。我不明白環保組織為何仍要拿這個調查出來說服公眾。要是計算 95% 致信週間,數據更為難睇。如下:
    • 絕對不要送:8% (95% CI: 4.7% to 11.3%)
    • 不送較好:15% (95% CI: 10.6% to 19.4%)
    • 沒有所謂:52% (95% CI: 45.9% to 58.1%)
    • 送會較好:19% (95% CI: 14.2% to 23.8%)
    • 一定要送:6% (95% CI: 3.1% to 8.9%)

    這樣的結果沒意義得很。 ((注意:這個調查由於有多個答案,會出現 Alpha inflation 的問題。為了解決這個問題,我應該用更高信心 % CI 。五個答案會做了 10 次比較,使用 Bonferroni 調整,我應該用 99.75% 信心週間。計算法是 2.8 * SQRT [(p*1-p)/n] 。但結論沒有差別。)) 例如「絕對不要送」和「一定要送」的比率統計學沒有分別。「送會較好」又和「不送較好」的比率統計學沒有分別。反而最有意義的,「沒有所謂」這個意見的比率,明顯比其他答案要多。 ((這是調查,未必是實際的意見/反應。)) 報紙應該報道的,是答「沒有所謂」的女性比率明顯較高,故此男仕未必需要送花,可考慮詢問女性意願才行事,而不是「自動波」送花。傳媒不應報道「僅 25% 女仕希望收花」。因為你問我希望收到 MacBook Air 嗎,我答沒所謂,是不是代表我不希望收到?


Powered by Jekyll and profdr theme