[no_toc]
「学者や医者の一意見」の信頼性は低い。知っておきたい「エビデンスレベル」
「エビデンス」って何ですの？
ここ最近、ちまたで「エビデンス」という言葉をよく聞きます。
「エビデンスに基づく医療」「エビデンスに即した政策論議」「精神論ではなく、エビデンスベーストな教育を行なおうよ！」「お前の発言にはエビデンスが無い。居酒屋談義だな」etc…。さまざまな場面で耳にすることが多くなった言葉、まるで魔法のフレーズ”エビデンス”ですが、はてさて、一体これは何なんでしょうか。
まず中学生向けの単語集よろしく、文字通り訳せばエビデンスとは「証拠」という意味合いでしょう。実際、会社など社会人生活においては、この意味合いで使われることも多く、例えば、個人情報を扱うサービス業や金融業などの場合、顧客の情報や身分証明のことを「エビデンス」と呼んだりします。
一方で「医療」や「教育」、または「政策」といった分野では「その主張の科学的根拠」といった意味合いで使われます。「エビデンスに基づいた医療」の場合、「治療法が選択されることの科学的根拠」といった感じで用いるように。
さてここで疑問が生じる。すなわち、「教育」や「政策」など、あいまいで複雑な「社会事象」において、「科学的根拠」など求められるのでしょうか。
とはいえどっこい、統計科学が進んだ現代においては、これがそこそこできてしまいます（もちろん問題が無いわけではない、詳しくは後述）。
知っておきたい「エビデンスレベル」。信頼できるエビデンスと、あまり信頼できないエビデンスがある
ここで「エビデンス」について詳しく知る上で知っておきたいのが、「エビデンスレベル」でしょう。
すなわち、エビデンスには「階層」や「レベル」があって、その中には信頼できるエビデンスと、あまり信頼できないエビデンスがあります。これ元々は医学分野で発展したものですが、現在は幅広く様々な分野においての指標となっています
・エビデンスレベル（数値が小さいほど信頼性が高い）
| 1 | システマティック・レビュー／RCTのメタアナリシス、患者数の多いRCT |
| 2 | １つ以上のランダム化比較試験 |
| 3 | 非ランダム化比較試験 |
| 4a | 分析疫学的研究（コホート研究） |
| 4b | 分析疫学的研究（症例対照研究、横断研究） |
| 5 | 記述研究（症例報告やケース・シリーズ） |
| 6 | データに基づかない専門委員会や専門家個人の意見、体験談（１例の報告）、マスコミ記事 |
(アメリカ臨床腫瘍学会ガイドラインをもとに作成)
実のところ、「体験談」や「医者・学者・研究者の一意見」の信頼性は低いものとされています。
すなわち基本的に、「統計的手法によるデータに基づいていないものは、結局その専門家の考えでしかない。客観的でない」ということが了解されているわけです。
愚かなる人類が、より誠実を物事を捉えるために生まれた「統計的手法」
なぜでしょうか。
なぜなら、人間には「認知バイアス（認知の歪み）」が存在するからだ。社会科学において実証科学を取り入れる泰斗となったエミール・デュルケムは、「事実をありのままに見る」ことの重要性を主張しました。しかし人間がそのままで、物事を”ありのまま”に見ることなど土台無理な話です。
一例を挙げても、ただの偶然に因果関係を見出す「確証バイアス」、身近で思い出しやすい情報から強引に結論を下す「可用性ヒューリスティック」、めったに起こらないがショッキングな出来事を頻発する事案だと錯覚する「代表制バイアス」、論理よりイデオロギーを優先させる「信念バイアス」、自分にとって都合の悪い情報を無視する「正常性バイアス」といったものが存在します。
実際のところ、認知バイアスは数え上げればきりがありません。
当サイト「初心者向けオススメ統計学本」のコーナーでも紹介した『その数字が戦略を決める』では、統計学を取り入れていなかった時代の医学が、いかにバイアスじみていて、いかにマッドネスに人を殺しまくっていたかが描かれています。
仏教では人間には108もの煩悩があり、それが「智慧を妨げる心の働き」になっていると説く、同じく認知バイアスも多々存在することが知られており、「人間が正しく物事を理解することがいかに難しいか」ことを知らしめてくれます。
つまるところ人間は愚かな存在であり、もしそれができるという人物がいるとすれば、その人物は詐欺師か神か、或いは狂信者ドン・キホーテでしかないでしょう。
結局、神ではない我々人類が取らざるをえない消極的な方法として、近似することで正確に捉えることができる「数理的手法」を採用していることになります。もちろん、これとて近似であり真理ではないことは言うにも及びません。
話を元に戻せば、数え上げればきりがないほどの”偏見”が人間には備わっているため、その専門家の一意見や考えは、正確性や厳密さにおいてどうしても「統計的手法」に劣ります。
もちろん統計的手法に関しても、これはこれで異なった類のバイアス、具体的には「情報バイアス」「セレクションバイアス」「交絡バイアス」といったものが存在するから、適切な実験デザインと適切な統計的手法が求められるのは言うまでもありません。インチキニセ科学、例えば「ワクチンを接種すると自閉症になる」とか「ガンは放置すれば治る」といった類の話は、非適切な統計的手法を用いてアピールすることが多い。
RCT（ランダム化比較試験）の欠点
もちろん人間による所業だから、「最も知的に誠実な手法」＝RCT（ランダム化比較試験）といえど問題がないわけではありません。例えば母集団の傾向が異なって観察されてしまう「シンプソンのパラドックス」や、先程も出てきた「選択バイアス」の問題が生じることがあります。
結局、RCTの信頼性が高いといってもそれは「相対的」な範囲にとどまります。だがそれでも、ほかよりは優れていることに疑う余地はないでしょう。
コメント