葉兆輝﹕怎樣改善民調的可信性?

鍾庭耀﹕紮實處理民調結果

年前曾寫過類似的東西,投稿明報,但卻沒有刊登。以上兩文是在報刊上鮮見的統計討論。葉兆輝認為民調應增大 sample size ,與外國的 3% 抽樣誤差看齊,另外也應加權處理。鍾庭耀同意增加 sample size ,也認為要以年齡組別及性別加權,但不認為要就職業組別加權。
鍾氏回應講到 subgroup analysis 和 t 檢定的問題。
我不太喜歡 subgroup analysis ,每次被人叫做也覺得很痛苦,像是硬要在 data 中找出 pattern 似的。我認為如果本來就想看看 subgroup 的情況,應該每個 subgroup 都要事前計算所需的 sample size 。如果事前只計出整組 sample size ,事後才分成 subgroup 分析,那就是 posthoc analysis 。任何的 posthoc analysis ,也不太應該用來大造文章。
之後就是 t test 的問題。如果用 t test 來計算唐和梁的整體支持度的分別,與使用95% 置信周間,結果只是同一樣。 t test 所算出的 p-value ,是可以轉化成 95% 置信周間。問題就是在 subgroup analysis 的 t test 。從鍾氏文章裡見到,他做了最少六次 subgroup analysis 。如果每次 analysis 都是 alpha = 5% , Familywise (type I) error rate 就是 1-(0.956) = 26.4% ,代表六個分析最少一個可能是純粹因為 random chance 的 false positive ,可謂相當的高。
假如事必要這樣做 subgroup analysis ,我認為是要將每次分析的 alpha 收細,才可保障 Familywise error rate 等於 5% 。其中一個不太完美但簡易的方法是 Bonferroni correction 。如想保持 Familywise error rate = 5% ,而又想做六次分析的話,可將每次分析的 error rate 減至 5%/6 = 0.00833 ,也即是每次分析時, p-value 要低於 0.0042 才可評定為有統計學的意義。 ((但當然此方法也有缺點,就是增加 Type II error 的風險,但沒有 correction 是完美的。要完美的話請事先設計更佳的實驗。))