テクニカルライティング教室

テクニカルライティングの講習・テンプレート作成

ChatGPTを論文作成に使ってみてわかった“問題点”と“懸念点” ―Nature誌の報告―

目次

1.はじめに

 ChatGPTはいろいろな用途で使われているようです.研究者や技術者にとっては,論文にこれが使えるととても便利です.論文を書くことは研究者と技術者にとって重要な仕事とは理解しています.でも,それは面倒で時間がかかり頭脳を振り絞らねばなりません.なので,ChatGPTが支援してくれるなら,時間の節約だけでなく,データ解析やそのまとめという面倒ごとから解放されますし,さらに論文作成のストレスも低減できます.まさに一石三鳥です.

 そんなことが本当にできるのかなと思っていたら,Nature BriefingにChatGPTを使って一報の論文を作成したという報告が載っていました.

 “Scientists used ChatGPT to generate an entire paper from scratch — but is it any good? (科学者はChatGPTを使って論文を草稿から完成稿まで生成させた.しかし,ChatGPTは役に立つのだろうか?)”
(Nature, News, 2023.7.7, https://www.nature.com/articles/d41586-023-02218-z,
doi: https://doi.org/10.1038/d41586-023-02218-z)

 そこで,本稿は,その報告の概要とそれに対する筆者のコメントを記したいと思います.

2.論文をChatGPTに作成させてみた

 今回,研究論文をChatGPTにつくらせたのは,それがどの程度論文作成を支援することができるのか,その利点について.さらに欠点を少なくすることについて,議論を引き出したいからとのことです.

 記事によると,2人の科学者が以下のプロセスでChatGPTに論文を作成させました.ChatGPTは,何と1時間以内で,流ちょうな文章で洞察力に富み,そして科学論文としての体裁を整えて,論文を出力しました.そのプロセスは以下のとおりです.

 まず,その科学者は公開されているデータセット,ここでは米国疾病予防管理センターの行動危険因子監視システムの健康に関する電話調査のデータベースをダウンロードしました.

 次に,このデータを解析するためのコードを書くようChatGPTに依頼しましたが,最初は,間違いがあって機能しないコードをつくりました.エラーメッセージを書き直して,間違いを修正するよう指示すると,最終的にはデータセットを解析できるコードを作成しました.その結果,より構造化されたデータセットになりました.

 そこで,彼らはChatGPTに次の研究目標をつくることを支援するように依頼しました.そうしたら,ChatGPTは身体活動とダイエットとが糖尿病のリスクにどのように影響するのかを解析することを示唆し,そしてChatGPTはコードを作成して,直ちに結果を出力してきました.出力されたのは,より多くの果物と野菜を摂取し運動することは糖尿病の低リスクと繋がっている,という結果です.

 このような結果が得られましたので,主要な発見を表にまとめ,そのすべてを結果の項目に書くようChatGPTに指示しました.ここで,ChatGPTに,段階を追って(Step by step),原稿の要旨,イントロダクション(序論),方法,ディスカッション(討論)を書くよう依頼し,最後に,原稿を推敲することも依頼しました.

 “Step by step”はChatGPTに段階的に論理的に考察させ,その結果を出力させるための魔法の言葉で,日本の研究者がChatGPT操作中に発見した言葉です.雑多なデータを解析したり,複雑なことを段階的に推論させるときにこの言葉を指示文に入れると,不思議なことにChatGPTは段階的に論理立てて考察するとのことです.

 このようなプロセスで,論文を作成しました.データ解析には間違いがありませんし,よくできた論文とのことです.

3.論文作成にChatGPTは使えるか

 このようにして論文はできあがりました.でもその論文は完璧なものとは言えず,いくつかの問題点と懸念点があります.それらについて,論文を作成させた科学者と他の何人かの科学者がコメントしています.

 ChatGPTの論文作成と科学者のコメントは,以下のとおりまとめられます.

 ChatGPTのような生成型AIは論文作成を支援する潜在的能力を持っています.論文を作成するとき,要旨を書いたりコードを作成するなど多くの時間を使う業務があります.生成型AIはそれを肩代わりしてくれる可能性があります.論文作成の一部を生成型AIに任せることはできるかもしれません.
 今回の論文作成にコメントしている科学者の1人は,データ解析から論文作成までのプロセスすべてをChatGPTに行わせるのは,近い将来においては考えない,と述べています.

 記事は上の文章で終えています.この最終文が結論でしょう.おそらく大多数の科学者や技術者もそれに同意するでしょう.限定された業務(要旨作成,コード作成,草稿の一部作成)を担わせることは可能と思います.データ解析も,その取っかかりとするなら可能かもしれません.ごちゃごちゃしたデータを見やすく考察しやすい形式に整えることはできるかもしれませんし,1つの考え方の提示と思えば頭を整理したり,活性化して別の考え方もあるのだと気づくかもしれません.注意深く使えば,ChatGPTの欠点が目立たず,論文作成の一部を助けてくれる可能性があり,その結果,私たちの知的生産力を高める可能性もあると思います.

 ChatGPTはまだまだ試行錯誤の段階です.研究者や技術者は,その生来の性格に従い,使ってみるという開拓者精神で臨むとよいのではないでしょうか.使ってみればメリットとデメリットを実感できます.そこから,デメリットを少なくするにはどうするか,を検討すると,生成型AIをツールとして制御しつつ使えるようになると思われます.

4.論文作成におけるChatGPTの問題点と懸念点

 上でも少し触れましたが,ChatGPTを論文作成に用いるには問題点と懸念点があります.

 問題点は,ChatGPTは何かあるものをでっち上げる傾向がある,つまり幻覚(hallucination)をつくることです.今回の論文作成においては,偽の文献が引用され,不正確な情報を作成しました.たとえば,この論文には“文献が取り上げていないことに取り組む”と書かれています.この文言は論文ではよく見られますが,このケースでは不正確な表現だと,この研究にコメントした科学者は指摘しています.

 また,今回ChatGPTが発見したこと,つまりより多くの果物と野菜を摂取し運動することは糖尿病の低リスクと繋がっているということは,医療専門家を驚かすようなものではないし,新奇とは言えないものとのことです.

 確かにChatGPTはデータを解析してもその意味を理解していないし,自分の持っている情報源にないものは出力できません,だから,でたらめを出力したり,解析した結果も既知の知見に近いものというのは理解できます.

 研究の醍醐味である創造性をChatGPTは発揮することができません.なので,創造性を要求するところには使いにくいようです.それは納得できます.

 懸念点もあります.

 まず,入力する情報は吟味が必須です.それは営業秘密に該当するのか,他社との契約に該当していないか,個人情報を出してよいのか,これらは所属する企業の方針に従うべきです.

 さらに,生成型AIツールを使うと論文が容易に作成できますが,そうなると論文誌は低品質の論文であふれてしまうかもしれません.

 これは困ったことです.それを防ぐには,研究論文におけるAIツールの透明性を高める必要があると,別の科学者は指摘しています.そうしないと,ある研究で発見されたことが正しいのか評価することが困難になるからだとも述べています.

以上

『この1冊で!』

全ての研究者・技術者・理系学生のために!

この一冊で研究報告書のテクニカルライティングが学べます。

・研究報告書の構成,体裁と内容について

・結果と考察の構造,重要な4要素,結果と考察の論理展開について

・結果と考察の書き方について

・報告書の表題,緒言(背景と目的),結論、実験などについて

・文の推敲に係り受け解析を使う方法について

詳しくはこちらから

fleximg

『スマホでも学べる!』
電子書籍

著書紹介
『理系のための文章術入門』

科学技術文の書き方を,易しく解説した入門書です.
本書の特徴は以下のとおりです.

①重要な部分をカラーにして強調したり,ポイントを枠で囲むなどして,ビジュアルな誌面とし,内容をつかみやすいようにしています.

②日本語の構成と特徴を述べ,次いで理系文の構成と特徴を,日本語文のそれと比較しながら述べ,両者の違いがわかるように配慮してあります.

③科学技術文の構成と特徴を「理系文法」として体系化したので,科学技術文の書き方を体系的に困難なく習得することができます.

④科学技術者が書くさまざまなスタイルの文章(レポート・卒論・企業報告書など)を示し,書き方を具体的に解説しました.

いろいろなスタイルの文章に慣れ,それらを書くスキルを身につけることができます.
本書で学ぶことにより,科学技術文書作成の達人になれます.
著書紹介『理系のための文章術入門』