システマティックレビューにおいて英語以外の雑誌を包含している論文はどれぐらいあるでしょうか？ - 南砺の病院家庭医が勉強記録を始めました。An archive of medical articles summarized by a family physician from Nanto Municipal Hospital.

How Often Do Systematic Reviews Exclude Articles Not Published in English?

J Gen Intern Med. 2019 Aug;34(8):1388-1389. doi: 10.1007/s11606-019-04976-x.

Jackson JL¹, Kuriyama A².

f:id:MOura:20190811234737p:plain

プライマリケア5大雑誌の一つともいわれるJournal of General Internal Medicine

そこに1ページしかない論文が紹介されていました。しかも日本人の先生。

たまにありますよね。こういううまいことやったな論文。

タイトル見ただけで、クイズ出されている気がしてつい見てしまいました。

写真はバベルの塔です。タイトルと写真でピーンときた方は素晴らしい。

ではクイズ形式で

問題：システマティックレビューにおいて英語以外の雑誌を包含している論文はどれぐらいあるでしょうか？

約90%
約70%
約50%
約40%
約30%

答えは、本文の最後で

f:id:MOura:20190811225529p:plain

背景

システマティックレビューは、臨床上の意思決定のために強固なエビデンスを提供しています。その質の評価項目の一つに、検索が十分なされているか、というものがあります。本研究の目的は、システマティックレビューが英語で発表された研究に限定されているものの頻度を明らかにすることでした。

方法

PubMedで2018年12月15日現在、”systematic review[pt]”※[pt]はpublish typeという単語で検索しました。最初の250のシステマティックレビューが、何らかの言語を除外しているのかが記載されているのか、非英語論文が除外あるいは非除外されている数をレビューしました。このレビューはコンセンサスによって重複を確認しています。

結果

250のシステマティックレビューのうち、84(34%)が非英語文献を除外していました。80(32%)が非英語論文の除外・非除外には言及がなく、86(34%)が言語の選別なく含めていました。86の言語の制限のないレビューのうち、19(22%)だけが、非英語を含めていました。これら250の研究は検索結果の2%を占めていました。

1993年にシステマティックレビューを調べた研究では93%が少なくとも1つ非英語の言語を除いたRCTを除外していました。この非英語論文の除外は「English　language bias」や「Tower of Babel bias」と言われます。

余談

バベルの塔についての教養

true-ark.comより引用

「バベルの塔」とは、旧約聖書の創世記11章に登場する巨大な塔のことだ。ノアの大洪水の後、バビロンの地域に住んだ人類は、頂が天に達するほどの高い塔を建てようとしたが、この試みが神の怒りに触れたことによって彼らの言語は混乱させられた。互いに言葉が通じなくなったことにより、塔の建設は中断し、人類はそれぞれの民族・国語ごとに、各地へ散っていったとされている。

以降このバベルの塔の伝説は、傲慢に対する戒めや、実現不可能な計画を表すためにも象徴的に用いられるようになった。

その後20年でも、英語のみに検索を制限することが一般的であり、英語以外の研究を含むいかなる言語も制限をしないというのが34%であり、非英語の研究を含むものはすくないことがわかりました。一方で、ジャーナルの86%が英語で発表されており、引用の可能性は英語の記事の方が高いです。しかし、これは英語以外の論文が低品質であることを意味するものではありません。1995年のMoherらの研究では、英語や他の言語の研究の品質の要素に差はみられませんでした。(Moher et al. Lancet 1996;347(8998):363–366.)ただ、この研究はヨーロッパの言語の記事に限られていました。非英語の研究のインパクトを調べた研究では、混合されている効果を見積もっていました。Eggrerらのドイツ語で出版された論文は英語で発表された論文よりも重要である可能性が高いです。(Egger et al.Lancet 1997;350(9074):326–329) もし他の言語でも同様のことがいえれば、英語のみのシステマティックレビューのバイアスの可能性がでてきます。非英語文献を含めた研究は費用も時間も専門知識もリソースを要しますが、バイアスのリスクを減らし、一般化を担保します。

結論

英語のみにシステマティックレビューを制限することは一般的であるが、バイアスがかかり一般化できない可能性があります。重要な研究課題のシステマティックレビューは、Google翻訳などのオンライン翻訳プログラムで英語以外の翻訳が正確なものかという問題はありますが、そのような研究は英語での出版の質と同等です。

感想

・サンプル数250で2% おそらく統計学的には有効なのだろう。

・PubMedだけなのが勿体ない。網羅性は大丈夫なのだろうか。

・過去に同様の研究があまりないのが意外だった。

・システマティックレビューの批判的吟味といえば

[The SPELL]であろう。

システマティックレビューの読み方を引用すると

1．論文の PICO は何か？
2．コクランレビューか？
3．GRADE approach を用いているか？
4．全ての研究を網羅的に集めようと努力したか？
①検索に用いた文献データベースは何か？
②どのような検索語を用いたか？
③どの期間の研究を調べたか？
④どのような種類の研究を調べたか？
⑤個々の論文の参考文献まで追跡して調べたか？
⑥個々の研究者や専門家に連絡を取ったか？
⑦出版されていない研究も探したか？
⑧英語以外で書かれた研究も探したか？
5．全ての研究が網羅的に集められたか？
6．集められた研究の risk of bias は評価されたか？
①複数の評価者によって評価されたか？
②どのような評価基準で評価されたか？
7．結果の評価