老闆時常要我做 Meta-analysis ，昨天終於頂唔住，在電話教訓他： meta-analysis 笨唔係咁做。大家都是讀同樣的書，為何他看不透。
老闆常常都說做 Meta-analysis ，在未流行說做 Meta-analysis 之前，他最愛說的是，寫一篇 Review article ，更加精確的是寫一篇 Narrative Review ，即是將文獻翻炒再上碟，好聽叫做總結文獻。 ((有點像現時最流行的博皇博后寫博的做法。)) 但在循證醫學的浪潮之下， Narrative Review 受歡迎程度已經大不如前。因為 Narrative Review 的特點是可以進行 Cherry Picking ，作者可選取他喜歡的證據去支持作者相信的論點。因此， Narrative Review 是一種有嚴重個人情感，再加上偏激的觀點角度，是不公正的。以前寫 Narrative Review 是生產文章最快的方法，亦可令撰寫這篇文的人身價上升，實在是急功近利人仕居家旅行的必備良藥。
但是醫生護士總不想看一百篇文才能獲得他想要的資訊，他們仍然來有人總結文獻，看一篇文等於看幾十篇。但又不太喜歡 Narrative Review 的個人主義色彩，亦是出現了另一種叫做 Systematic Review 的東西。 Systematic Review 講求搜尋文獻要有系統化的方法，文獻中所有的正反相方論證都要一一網羅，而且要公正客觀以同樣的方法處理每一件證據。及後，更從古典統計學文獻重新發掘出由 Karl Pearson 發明的 Meta-analysis 方法，將每一個證據的數字以統計方法組合。這個大概是 Systematic Review 的發展藍圖。因為 Systematic Review 暫時是業界最精確的研究方法，故此現在的所謂 Level of evidence 是以 Systematic Review 為最高水平的證據，因為大有 Bird eye view 之感。辯論有說，最後說話的人最有利， Systematic Review 就像說最後一話的人。投機寫 Systematic Review 不是易事，因為做 Systematic Review 比 Narrative Review 的功夫要多十倍。
問題在這裡：沒有經過 Systematic Review 的 Meta-analysis 是沒有意義的，也是投機炒作。隨便從 Pubmed 找到幾篇文章，用統計學方法結合在一起，我作為統計學人當然做到。但是單從 Pubmed 隨便找幾份文是否達到 Systematic Review 要求的「廣納民意」？從每份文章中抽取數據，又有沒有達到 Systematic Review 的 double entry 要求？而我最反感的是以下這一點：我們有否了解到各項研究的異同（ Clinical/methodological heterogeneity ）？老闆的 Mindset 係：既然找到數篇文章，幾份話某某治療方法有效，幾份話無效，為何不用 Meta-analysis 將他們揍合在一起。我關心的問題是，在揍合之外，是否應該要找出不同研究結果異同的原因？這也是 Systematic Review 所要求的。當用 Meta-analysis 去組合隨機控制研究（ Randomized Controlled Trial ）時，這些問題都不算嚴重，因為不同研究的研究方法可以大致相同，不同研究的結果落差可以假定是因為 sampling error 。但老闆每次想投機做 Meta-analysis 的，都是 observational study ，例如有數個研究想了解睡眠窒息與 C 反應蛋白的關係，有些研究發現睡眠窒息患者血的 C 反應蛋白較正常人為高，有些卻找不到這個關係。這就不能用 Sampling Error 去解釋。因為每個研究的病者特徵都不類似，例如每個研究睡眠窒息患者及正常人的肥胖比率、男女比例都會有所不同，這些干擾因子（ Confounding factor ）絕對會影響結果。不會像隨機控制研究那樣，會隨機平均分配。 Observational study 的 meta-analysis 出名難做，亦出名有明顯誤導成份。 ((Egger M et al. BMJ 1998;316:140-144)) 之前說過的 Peto 例子，他用 Meta-analysis 去證明某藥不會增加癌症風險，但他的 Meta-analysis 包含了兩個未完成的研究。假定服藥後癌要平均三年才發出來，未完成的研究只去到第二年，就算那藥致癌癌亦未夠時間發出來，癌症風險一定底。將兩個假低風險的未完成研究結合到一個已完成發現高風險研究，結果一定是低風險。但這個結果，有意義嗎？
Meta-analysis 本來是最高水平的研究方式，但亦因為其美名，令投機炒作者亦甚多，這個牌匾開始退色。