“To consult the statistician after an experiment is finished is often merely to ask him to conduct a post mortem examination. He can perhaps say what the experiment died of.”「在實驗完結後才諮詢統計學家的意見,這常常會像叫他進行驗屍。他或能告知實驗失敗的原因。」
被專稱為現代統計學及實驗設計之父的羅納特.費雪爵士 (Sir Ronald Fisher, 1890 – 1962) 曾說過以上的金句。曾有統計學家挖苦說,統計是一門所有統計學家認為困難,但醫生卻認為易如反掌的學科。在學術界打滾多年,像浸會大學「傳理調查」的情況可謂見怪不怪。我的工作主是要解決如「傳理調查」般的問題,就是研究人員不按統計學章法,研究完成後卻發現闖禍,最終要用統計學的方法「補鑊」自圓其說。但其實我心知,這樣的研究根本無藥可救,我常要違背良心成為誤導大眾的共犯。
不知何時本港如此重視特首「候選人」的民望。在香港,視民望如浮雲的人,才有資格被欽定為特首。話雖如此,民意亦應以正確的方法去量度。「傳理調查」受千夫所指,在我看來的確是無藥可救,但我最少要讚頌浸會大學研究人員的一個做法,就是他們在 1 月 14 日發放「2012 年特首選舉第二次調查結果」後,無假裝沒事發生,遂於 1 月 17 日再發放「2012年01月14日新聞發放的補充物」。這完全打破學術界「沒有人發現有錯就是對」的常規,值得表揚。不過,這並不代表此次調查的問題自動一筆清。「傳理調查」的問題,輿論多日討論的有兩點,分別是:一)過早停止調查,引致抽樣誤差增加,和二)研究結果沒有經過加權。
如果電話民調的取樣真是完全隨機的話,在實際操作時,第一點對結果的影響,其實並不太大。「傳理調查」由目標樣本數的 1000 減至 800 來說,抽樣誤差只增加了 0.3% ,實在微不足道。第二點的影響,卻是不能預測的。這類加權處理是標準的方法,在統計軟件是可以簡易到只下達一個指令。就算是用手計也只是簡單的加減乘除四則運算。令本人摸不著頭腦的是,浸大的研究人員何以心急到連加權處理的兩分鐘時間也嫌太漫長?
以上兩點,是具一般統計學訓練的人都會的回應。「傳理調查」調查之問題,從「驗屍」角度,仍有最少兩點值得討論。
第一點是中期分析(interim analysis)的問題。我熟知的藥物研究常有中期分析的安排。隔行如隔山,我未聽過社會科學有如此規矩,故此「傳理調查」提早發表結果令人錯愕。所謂中期分析,就是在研究仍在進行、樣本數仍未達標之時,定期進行預先安排好的中期分析。如果中期分析發現藥效非常明顯,又或者有明顯證據證明藥物有危險,藥物研究就會提前結束。但需要注意的是,如此預先安排的中期分析,是要在研究開始之前就計劃好,並預先計算出研究期間中期分析的時間點及次數,皆因每次中期分析要調整誤差數值,以免出現重覆分析同一組數據而出現的假陽 (False positive) 結果。假設「傳理調查」調查之中期分析是預先安排好的,而不是臨時起意或者受外力影響之下被迫進行,那麼中期分析的抽樣誤差並非如 1 月 14 日報告發表的 +/- 3.4% ,而應該是 +/- 5.7% (以 Haybittle-Peto 法計算),足足增加了 2.3% 。如以此抽樣誤差計算, 1 月 14 日發表的中期分析結果,唐英年的支持度並無比第一次調查時明顯增加。事實上「傳理調查」的中期分析是未經計劃的,故此一切在其分析報告所指的都沒有甚麼統計學的意義,因為全都極有可能是假陽結果。而在 1 月 17 日的最終報告,並未發現唐英年支持度有所增加,正正證明早前的中期分析結果純為「假陽」。
第二點是疑似發表偏倚 ( Publication bias ) 問題 。如此問題,在 2008 年的立法會選舉民調可見。當年蘋果日報贊助港大民研進行滾筒式的民意調查,但是港大民研並不能將民意調查結果在選舉前刊登網站,必需由《蘋果日報》率先刊登。《蘋果日報》每天只選擇性報道部份結果,如每天只刊登某一個區的結果。故此報上所見,只是某位候選人支持度下滑、告急。所謂發表偏倚,就是調查結果不如心意,就收藏於抽屜永久封存;而合心意的結果,就選擇性的刊登出來。客觀現實就是觀眾所吸收的資訊,是被扭曲的。前述「傳理調查」之中間分析的時間點及次數未經計劃的,為何發表的時間點卻偏偏在樣本數等於836 、唐英年民望明顯增多時的?捨棄其他時間點,是因為分析結果不如心意嗎?如果中間分析的時間點是隨機的,那還可以訴諸於巧合。但是時間點是有人選擇的,而當事人選擇的理據不充份(如趕及在台灣大選結果公佈前發佈),總會令人懷疑背後的動機。當然,輿論第一時間想出來的陰謀論,是有外部政治勢力干預學術調查,無論任何學者都會否認如此指控。如果這是一個三流推理小說故事,會是研究人員想成為首位發現某某現象的人,於是挺而走險,幹出傻事來。在學術界,三流推理小說的橋段,會比外部政治勢力介入更有可能發生。
原文刊於 2012 年 1 月 22 日明報星期日生活版。