很多科學研究人員都有一種誤會，以為在統計分析的時候控制了越多變因，結果越可靠。這類問題在生態學、流行病學、心理學和社會科學特別嚴重。在這些領域有大半的研究結論都是「在控制了A、B、C、D因子後，我們發現 X 對 Y 有影響」。但其實有一些變因不應該控制，如果控制了反而會造成錯誤的研究結果。
例如智商和心理學五大人格中的盡責性（Conscientiousness）應該沒有什麼因果關係，但是如果我們控制了教育程度或職場表現後，會發現智商和盡責性有負相關[1]。這是因為智商和盡責性都對念書和工作有幫助，所以當我們比較同樣教育程度的人時，智商高的人不用太盡責、盡責的人笨一點也沒關係[2]。
又例如女性在職場上受到不平等的對待，但如果我們控制了產業、職位和年資後，會發現女性的收入好像沒有低於男性、只差一點點、或甚至女性收入比較高[3]。這其實是因為只有非常有能力的女性才有辦法繼續在充滿歧視的環境中和男性競爭和升遷。 如果我們沒有控制職業，結果就會發現女性的收入低於男性，但是控制了反而變成沒有差別。幾年前Google發生性別收入不平等的爭論時，他們就用這種分析來宣稱女性的收入不低於男性[4]。（關於科學界、科技業和醫學界的性別問題可以參考本系列下一篇）
上述兩個例子中，因為控制了教育程度或職位這兩個變因而造成錯誤的推論，不控制這些變因研究結果才會正確，背後的原因其實一樣：這兩個變因是對撞變因（collider）。對撞變因可以這樣描述：在研究X和Y的關係時，如果X和Y都會影響C，C就是對撞變因。對撞變因在不同的研究領域和情境下有時又稱為選擇偏誤（selection bias）、倖存者偏誤（survival bias）、柏克森悖論（Berkson's paradox）或辛普森悖論（Simpson's paradox）。
控制對撞變因會造成假相關：兩個因素看起來有關，但其實這只是因為樣本被對撞變因限制過了。但是我們不能因為害怕假相關，就決定什麼變因都不要控制，因為也有些變因的效果正好相反：不控制它的時候才會造成假相關。
例如父母的教育程度，可能讓小孩的發育時的營養比較好，所以小孩的智商比較高，同時高教育程度父母更加教育小孩要盡責，若如此，不控制父母教育程度的話，就會發現智商高的人比較盡責。在此，父母教育程度是干擾變因，應該要控制。
然而，在很多研究題目中變因很多，而且組合成非常複雜的因果鍊，充滿干擾變因、中介變因、對撞變因、工具變因，無法釐清誰影響誰，這時候分析起來就困難了。
例如這個研究問題：足球比賽中，黑人運動員會不會因為歧視，而比較容易被舉紅牌出場？研究這個題目時，可能的變因包括身高、體重、球隊所屬國家、球員得黃牌的次數、球員的位置、裁判的族裔、對手的族裔、對手被捲入犯規的頻率……你看得出來哪些變因應該要控制，哪些不該嗎？
有研究者拿同一組數據，找了29組專業團隊（共61人）來分析這個問題，結果每組人分析的方法和算出來的數據結果都不一樣，三分之一的研究結論是沒有影響，三分之二的研究結論是有影響。[5]
（如果你懂一點統計，請注意，AIC、DIC、WAIC 等 model selection 方法並不能解決上述問題。AIC常會建議你控制對撞變因，因為它讓本來不存在的效果看起來更顯著。具體原因可參閱 Statistical Rethinking 或其他較新的統計學教科書。此外，先前在《科學的界限 - 2. 理論是真的嗎？》我也指出了簡單的模型沒理由就比較好）
更可怕的是有時候研究人員並沒有打算要控制什麼變因，但是社會/大自然/世界/蓋婭/老天爺已經幫你控制了某個對撞變因。
例如觀察醫院的病人時，發現得了 X 病的人大多也得 Y 病，於是以為是病理上有關係的併發症。這可能是因為只得其中一個病時，病人不會覺得有嚴重到需要去醫院。科學家如果只觀察醫院裡的病人，就會誤以為 X 和 Y 有因果關係。
例如有個假說是腦容量大的生物有比較高的創造力。要分析這個問題會遇到的麻煩是維持巨大的頭腦很耗能，有害生存，而創造力則有益生存；如果我們只觀察了存活到現在的生物，就會發現兩者有正相關，好像證明了腦容量大會提高創造力[6]。實際上可能只是沒創造力又需要維持大腦袋的生物都死光了，但我們很難證明或排除這種可能性，因為我們很難推論已滅絕的生物有多少創造力。
科學講求實證，但如果我們能收集到的資料本來就已經存在偏誤時，那就很難得出正確的結論。
最後我要提一個對撞變因直接影響科學界的例子：如果想要將研究結果發表在好的科學期刊上，通常有兩個標準：研究本身很嚴謹、研究結論很引人注目。這表示當我們看任何期刊上的研究，就發現結果越特別的研究，平均來說越不嚴謹。因為如果研究方法很爛還能發到好期刊上，那肯定是結論很引人注目。
參考資料：
1. Moutafi J, Furnham A, Paltiel L (2004) Why is Conscientiousness negatively correlated with intelligence? Personality and Individual Differences 37(5):1013-1022
2. Asendorpf JB, Rindermann H, Woodley MA, Stratford J, Rabaglia C, Marcus G, Lane S (2012) Bias due to controlling a collider: A potentially important issue for personality research. European Journal of Personality 26:391-413.
3. Corbett C, Hill C (2012) Graduating to a Pay Gap: The Earnings of Women and Men One Year after College Graduation. American Association of University Women.
4. Wakabayashi D (2017-09-08) At Google, Employee-Led Effort Finds Men Are Paid More Than Women. The New York Times
5. Silberzahn R, Uhlmann EL, Martin DP, et al. (2018). Many Analysts, One Data Set: Making Transparent How Variations in Analytic Choices Affect Results. Advances in Methods and Practices in Psychological Science 1(3):337–356.
6. Overington SE, Morand-Ferron J, Boogert NJ, Lefebvre L (2009) Technical innovations drive the relationship between innovativeness and residual brain size in birds. Animal Behaviour 78(4):1001-1010
沒有留言:
張貼留言