古代史と最先端技術が出会うとき: ギリシャ碑文の解読に協力し、AI と人類の融合を実現する?

*碑文や石碑は過去の文明の思想、文化、言語を反映しています。数千年前の暗号を解読するために、碑文学者は、テキストの復元、時間の帰属、地域の帰属という 3 つの主要な作業を完了する必要があります。

主流の研究方法は「文字列マッチング」であり、これは記憶やクエリコーパスに基づいて類似のフォントを持つ碑文をマッチングさせるものであり、結果の混乱や誤判断につながります。

この目的のために、DeepMind とヴェネツィア・フォスカリ大学は共同で、AI を使って人間の学者がギリシャ語の碑文を解読するのを支援する Ithaca を開発しました。 *

著者 |ゼロを追加

編集者 |雪才、三陽

碑文学とは、碑文、石碑、古代の碑文を研究する学問であり、過去の文明の思想、文化、言語を結び付けます。現在、学界は、これらの遺産をいかに深く研究し理解するかという重要な問題に直面しています。

一般的に、碑文を解釈するには、碑文学者が次の 3 つの基本的な作業を完了する必要があります。

テキストの復元: テキストの欠落部分を補足します。

年代順の帰属: 碑文が書かれた時期を決定すること。

地理的帰属: 碑文が書かれた元の場所を特定します。

これらのタスクを達成するには、碑文学者は文脈と既存のコーパスを組み合わせた広範な比較研究を実施する必要があります。デジタルコーパスの出現により研究者の負担はある程度軽減されるものの、研究者が採用する文字列マッチング方法は混乱を招き、結果の誤判断につながることが多い。同時に、古い碑文が多く損傷したり失われたりしており、作業はより複雑になっています。

碑文修復アイコン

AI は、複雑な統計パターンを発見して適用し、人間が処理するのが難しい大量のデータを分析するのが得意です。そこで、DeepMind とヴェネツィアのカ・フォスカリ大学の研究者らは、碑文学者のテキスト復元、年代順の帰属、地理的帰属の作業を支援することを目的とした Ithaca を共同で開発しました。

実験により、イサカテキスト修復作業の精度は62％に達し、時間帰属誤差は30年以内、地域帰属精度は71％に達し、良好な相乗効果があることが確認されました。関連論文が「Nature」に掲載されました。

関連する結果はNatureに掲載されました

論文を入手する:

https://www.nature.com/articles/s41586-022-04448-z

Ithaca の関連コードは GitHub プラットフォームでオープンソース化されており、碑文学者も公開インターフェースを使用して研究を行うことができます。

ソースコード: https://github.com/deepmind/Ithaca

パブリックインターフェース: https://ithaca.deepmind.com/

実験手順

データセット: 機械で実行可能な碑文コレクション I.PHI

研究者らは、パッカード人文科学研究所の検索可能なギリシャ語碑文公開データセット（PHI）に基づいて研究を実施した。

注: PHI は、パッカード人文科学研究所の検索可能なギリシャ語碑文公開データセットの略です。

機械の操作を容易にするために、研究者は PHI 内のテキストをフィルタリングし、選択したテキストにデジタル ID、対応する注釈付き場所、および時間情報を割り当て、最終的に I.PHI データセットを取得しました。

I.PHI データセットは現在、78,608 個の碑文を含む、機械操作可能な最大の碑文データセットです。

I. PHIデータセットの例

アルゴリズムトレーニング: 3つの主要タスクのトレーニング

テキスト修復: クロスエントロピー損失関数を使用して入力テキストの一部をマスクし、マスクされた文字を予測するように Ithaca モデルをトレーニングします。

時間の帰属: イサカは紀元前 800 年頃の期間を、ターゲット確率分布と呼ばれる 10 年間隔で等確率の期間に分割しました。 Kullback-Leibler ダイバージェンスを使用して、予測確率分布と目標確率分布の差を最小化します。

地域属性: クロスエントロピー損失関数を使用して、地域メタデータをターゲットラベルとして使用し、過剰適合を回避するために平滑化係数が 10% のラベル平滑化手法を適用します。

これに基づいて、Ithaca は Google Cloud Platform 上の 128 個の TPU v4 ポッドで 8,192 テキストのバッチサイズで 1 週間トレーニングされ、LAMB オプティマイザーを使用して学習率 3 × 10-4 で Ithaca パラメータが最適化されました。

モデル構造: イサカモデルは4つの部分から構成される

イサカモデルのタスク処理フロー

イサカモデルの構造は、次の 4 つの部分に要約できます。

1. 入力: 入力テキストは文字と単語の両方として処理され、Ithaca が個々の文字を理解し、それらを単語に統合して文脈を理解できるようにします。不明な単語や破損した単語は、特殊記号「unk」に置き換えられます。

2. 胴体: Ithaca の胴体は、入力された文字や単語がモデルの意思決定プロセスに与える影響を測定するための注意メカニズムを使用する、スタックされた Transformer ニューラルネットワークアーキテクチャを採用しています。

本文部分では、Ithaca は入力テキストと位置情報を結合し、入力文字数に等しい長さのシーケンスに正規化します。シーケンス内の各項目は 2,048 次元の埋め込みベクトルです。このシーケンスは 3 つの異なるタスクヘッドに送信されます。

3. タスクヘッド: Ithaca には 3 つの異なるタスクヘッドがあり、各ヘッドはテキスト復元、時間属性、地域属性のタスクに特化した浅いフィードフォワードニューラルネットワークで構成されています。

4. 出力: 3 つのタスクヘッドはそれぞれ対応する結果を出力します。

イサカ出力

テキスト修復: Ithaca は 3 つの欠落文字を予測し、確率順にランク付けされた上位 20 個のデコード予測のセットを提供します (上記 a)。

地域属性: Ithaca は入力テキストを 84 の地域に分割し、地図と棒グラフを使用して、考えられる地域予測ランキング表を直感的に実装します (上図 b)。

時間属性: 時間属性タスクの解釈可能性を拡大するために、Ithaca は紀元前 800 年から西暦 800 年まで遡り、単一の日付値を出力する代わりに日付のカテゴリ分布を予測します (図 2c)。

モデルトレーニング結果

総合比較：イサカは優れたパフォーマンスを発揮

* 4つのコントラスト機構

古代史家: 人類学者はトレーニングセットを使用してテキストの類似点を見つけ、その結果をイサカと比較します。

古代史家とイサカ：イサカは碑文学者のために 20 の復元案を提供し、イサカと人類学者の相乗効果を評価します。

Pythia: テキスト修復タスク用のシーケンスツーシーケンス再帰型ニューラルネットワーク。Ithaca のテキスト修復パフォーマンスを評価します。

名詞学: 時間と空間におけるギリシャ人名の既知の分布を使用して、研究者は一連のテキストの時間的および地域的帰属を完了し、イサカの時間的および地域的帰属のパフォーマンスを評価します。

* 3つの主要な評価指標

文字エラー率 (CER): テキスト修復タスクを評価し、最も高い予測修復シーケンスとターゲットシーケンス間の正規化された差を計算します。

Top-k 精度: テキスト復元または地域属性タスクを評価し、正しいラベルを含む予測結果の中で最も高い確率を持つ上位 k 個の結果の割合を計算します。上位 1 つの精度がよく使用されます。

距離メトリック (方法): 時間的帰属タスクを評価し、予測分布の平均と真実間隔の間の距離を年単位で計算します。

* 実験結果

テキストの修正

テキスト修復タスク

a: オリジナルの碑文

b: ローズ＝オズボーンが復元した碑文。

c: ピュティア復元版。ローズ＝オズボーン版との不一致が 74 箇所あります。

d: イサカ復元版。ローズ＝オズボーン版との不一致が 45 箇所あります。

正しく修復された部分は図中で緑色で表示され、エラーは赤色で強調表示されます。

オリジナルの碑文（IG II² 116）には 378 文字が欠落しています。 2003 年に Rhodes-Osborne によって完了した修復 (図 b) をベンチマークとして使用すると、Ithaca の CER は 26.3%、トップ 1 の精度は 61.8% になります。

碑文学者と比較すると、イサカの CER は 2.2 倍低くなります。イサカのトップ20予測精度は78.3％で、ピューティアの1.5倍です。

2. 地理的帰属

地理的属性タスク

地域帰属タスクでは、Ithaca はトップ 1 の精度 70.8%、トップ 3 の精度 82.1% を達成しました。上の図は、イタカが奴隷解放の碑文をデルフィ地域に正しく帰属させたことを示しています。

3. 時間の帰属

時間帰属タスク

時間帰属タスクでは、人間の専門家の平均予測は 144.4 年、中央値は 94.5 年でしたが、Ithaca の予測では、実際の間隔との平均差は 29.3 年、中央値の差はわずか 3 年でした。

3 つのタスクにおける Ithaca のパフォーマンスを組み合わせると、結果は次のように要約されます。

人間の専門家や Pythia と比較すると、Ithaca は 3 つのタスクすべてで優れたパフォーマンスを発揮します。

人間の専門家が Ithaca と協力したところ、CER は 18.3%、トップ 1 の精度は 71.7% に達しました。これは、碑文学者が単独で作業した場合と比較して 3.2 倍と 2.8 倍の改善であり、Ithaca が単独でタスクを完了した場合と比較しても大幅な改善であり、Ithaca の優れた協力関係を実証しています。

イサカの実験結果の比較

時間の帰属：イサカが物議を醸す問題を解決

いくつかの碑文の年代については議論の的となっている。年代測定に使われる伝統的なシグマ年代測定基準では正確さを保証することはできず、碑文学者はこれらの碑文が紀元前446/5年より前に作られたのか、それとも後に作られたのかを判断することができません。

下記の碑文は伝統的に紀元前 446/5 年とされていましたが、最近紀元前 424/3 年に遡ると再評価されました。

議論を呼ぶ碑文（一部）

この議論を呼んでいる碑文のセットは I.PHI データセットに存在し、イサカの年代帰属結果はシグマ年代測定基準に基づく従来の歴史解釈を覆し、新たに発見された基本事実との差は平均 5 年です。

このように、イサカは歴史家が日付の範囲を絞り込み、歴史的出来事の時間の帰属の精度を向上させるのに役立つことが証明されています。

AIと人間：1 + 1 > 2？

Ithaca の結果出力部分は非常に興味深いです。単一の回答を出力するのではなく、研究者が選択できる複数の結果を提示します。

これは、他の AI 開発者やユーザーにとって学ぶ価値のあることです。 AIの出力に頼るのではなく、AIを使って「道を探る」ことで、間違った答えを排除し、自立した思考の深さと幅を広げる方がよいでしょう。

Ithaca は、AI の計算能力と人間の創造性および深い思考を組み合わせることで、AI と連携して作業するための新しいパラダイムの開拓に貢献します。

将来的には、AIと人間の学者が協力して「1+1 > 2」という目標を達成することを期待しています。