同じデータでも、研究者・解析手法が異なると異なる結果???

10月12日のNature誌のNews欄に「Reproducibility trial:246 biologists get different results from same data sets」という記事が掲載されている。

以前から一流紙に掲載された結果に再現性がないという指摘がされている。一流紙に掲載される論文は、画期的でインパクトのある結果が掲載されると信じられている。それには思い込みや無理な解釈をするためにデータを選んだり、データを捻じ曲げるようなことも一因にある。このような場合には当然再現性はない。

しかし、同じ材料で、同じ方法で研究が実施されても、再現性がない(同じような結果が出ない)ことが指摘されて久しい。これで取り下げになった論文は少なくない。日本ではSTAP細胞の例がよく知られているが、最近では、内容に疑義が呈され、室温超電導の論文が取り下げられたことが記憶に新しい。

ニュースによると同一のエコロジー関連データを246人の生物学者が解析したところ、解析に使う方法によって結果がバラバラだったとのことだ。たとえば、鳥が兄弟姉妹と競争すると成長にどのように影響するか、あるいは、植物の成長影響する要因などだ。前者に関しては、大半の研究者が影響すると判断したそうですが、その程度がかなり異なっていたとのことだ。

この調査をした研究者は、結果は違うが、どれも間違いでないと述べていたとのこと?それでは何を信じればとなってくる。1+1=2と単純でないのが、科学、特に生き物を用いる研究の世界だ。言うまでもないが、STAP細胞のようにデータに誤魔化しがあれば、もちろん、再現性はない。統計学でも、どの方法を用いるかが議論になることが多いが、同じデータを用いても、意味がある差なのか、意味のない差なのか、悩ましい。