テレンス・タオ：初心者はAIツールを使って専門家レベルのタスクを実行すべきではないし、GPTは専門家にとってあまり役に立たない

著名な数学者テレンス・タオ氏はここ数か月、ChatGPTなどの大規模モデルAIツールを使用して数学の問題の解決を支援し、ChatGPTを使用してコードを記述したり、数学の定理を証明したり、LaTeX式のプログラムコードを生成するなど、結果をみんなで共有して経験を交換しようとしています。

GPT のような AI ツールは、あなた自身の研究や人々にとってどれほど役立ちますか?過去2日間で、テレンス・タオは結論に達したようだ。

タオ氏は、AI ツールは研究の中核となる数学の部分ではそれほど役に立たない (あるいは、得意だと思っていたタスクに AI ツールを試してみたくなかっただけかもしれない) ものの、コードの生成や論文のフローチャートの下書きの作成 (これまでほとんど使用したことのない LaTeX パッケージ (tikz) を使用) などのタスクでは非常に役立つことに気付きました。

一般的に、GPT は、Python、SAGE、正規表現、LaTeX など、計算タスク用の特定の言語を抽象化できることを発見しました。彼は GPT への要求を自然言語で表現でき、GPT は適切な言語で適切なコードを提供します。完全な統合は行われなかったものの、GPT 出力をコピーしてコンパイル可能なドキュメントに貼り付ける必要がありました。

Tao 氏は、GPT がワークフローを変え始めていることを認めており、以前はタスクを解決するためにコード集約型のソリューションの使用を避けていたが、今ではそれがなくなりつつあると述べています。彼は、日々の仕事の一部としてコーディングする方が楽だと気づきました。

GitHub Copilot を例に挙げてみましょう。 Tao 氏は、VSCode+LaTeXworkshop で設定した後、標準文字を自動的に補完できることに驚きました。冒頭の段落とそれに続く文章だけを見ると、Copilot が提供している段落の残りの部分は、彼が実際に書く内容にかなり近いものとなっています。また、Copilotshuchu の内容を少し変更するだけで、標準的な手紙を完成させるのにかかる時間の半分以上を節約できます。

Terence Tao 氏は、自身の論文でオートコンプリート機能を使用したスクリーンショットを共有しました。 Copilot は、証明の概要を自動補完しようとして、論文の残りの部分から関連する結果を引用しますが、その後、ランダムな解析的数論のナンセンスを提示します。

これまでのところ、非常に短い自動補完ジョブや繰り返しのテキストパターンの記述を除けば、数学の論文を書くときには Copilot が役に立つというよりはむしろ興味深いと感じているが、将来的には彼を驚かせるような効果があるかもしれない。

GPT が提供する正規表現は、ネストされた区切り文字を Tao が望んだとおりには処理できないことが判明しましたが、十分近いものです。正規表現のドキュメントを自分で読んだ後、必要に応じて調整できます。彼の意見では、同様のタスクを達成するにはある程度の正規表現のスキルが必要だが、GPT の支援がない場合よりもそのスキルは少ない。

一般的に、GPT はテキストベースのタスクにおけるスキルの向上を可能にするようですが、スキル レベルが上がるにつれて、その効果は減少します。タスクにまったく不慣れな人でも、GPT を通じて上級初心者になることができ、初心者は中級スキルレベルに到達し、中級者は少なくとも一部の分野では専門家になる可能性があります。しかし、専門家にとって、GPT を使用することで得られるさらなる利点は比較的控えめです。

そのため、Tao は、出力を適切にチェックできないため、初心者が AI ツールを使用して専門家レベルのタスクを完了することを推奨しません。しかし、彼はまた、人々が AI ツールを使用することで、通常レベルよりも高いスキルレベルでタスクを完了し、出力結果を確認し、受け入れるか追加の調整を行うかを決定するのに十分な能力を持つことができると考えています。

誰かが尋ねました。もし人々がこのスキルレベルのギャップを明確に認識していなかったらどうなるでしょうか？タオ氏は、AIツールがより身近になるにつれ、ほとんどの人がこれらのツールで何ができて何ができないかについてより正確なメンタルモデルを持ち、それに応じて調整するようになるだろうと考えていると述べた。

もちろん、タオ氏も、公共の AI 教育と独立した出力検証が現代世界でますます重要なスキルになるだろうことに同意しています。