Courrier 008: 生成AIによる論文が増えている？ 見分ける裏技は？
Jeremy Nguyen さんという方が、医学論文で “delve” という単語が含まれるものが増加していることを指摘されています。 (ざっと調べてこの方が最初に報告しているように見えましたが、もっと早い例をご存知の方は教えてください)
Are medical studies being written with ChatGPT?
Well, we all know ChatGPT overuses the word "delve".
Look below at how often the word 'delve' is used in papers on PubMed (2023 was the first full year of ChatGPT). pic.twitter.com/iNxZfFLkxL— Jeremy Nguyen ✍🏼 🚢 (@JeremyNguyenPhD) March 30, 2024
delve は「掘り下げる」などの意味ですが、2023年以降急激に増えているのは ChatGPT が普通に使われるよりも高い確率で出力するからではないかと言われています。Y Combinator のポール・グレアムも反応しています。
My point here is not that I dislike "delve," though I do, but that it's a sign that text was written by ChatGPT. pic.twitter.com/2i3GUgynuL
— Paul Graham (@paulg) April 7, 2024
なぜ delve が出力されやすいのか？ 原因は ChatGPT を RLHF (人間のフィードバックによる強化学習) するときに、アメリカなどよりも delve がよく使われるナイジェリアで作業が行われたためではないかと言われています。
物理分野でも delve は観測されています。素粒子分野の論文が検索できる INSPIRE でも delve が増えていることが分かっています。
Same result in particle physics too… @inspirehep pretty damning. I will certainly not be using the word delve from now on, and will view anyone who does with suspicion…https://t.co/NhgA63EdtV https://t.co/cXi4jqY6yy pic.twitter.com/kvFbtjQZMK
— Ciaran O'Hare (@cajohare) April 17, 2024
また、我らが Ranga Dias 先生のロチェスター大学の調査に対してのレスポンスにも、 delve が9回出てきます。 (ブカさん情報)
というわけで delve が含まれていると ChatGPT で生成されている文章である確率が高くなるようです。だからといって delve が含まれているものは全てダメとかいうことになると、元々 delve を使っている人達や、英語が母語ではなく補助ツールとして ChatGPT を使って英文を書いている人達の書いたものが不当に弾かれてしまう危険性もあるので気をつけたいところです。