人間はAIに小さな太陽の作り方を教えようとしたが、結果はこうだった。

最近、核科学の分野で大きなニュースがありました。これを達成した科学者たちでさえ、これは信じられない、素晴らしいことだと思っています。

「私は長い間この瞬間を待ち望んでいました。核融合研究における深層強化学習の初の実証です！」 DeepMind の科学者 David Pfau 氏は興奮しながら論文を発表しました。
出典: 同期

映画「アベンジャーズ - アイアンマン」を見た友達が何人いるか分かりません。彼がこんなにすごい理由は、鎧の中央に「小さな太陽」があり、それが彼に大量のエネルギーを継続的に供給しているからです。この小さな太陽こそ、今日私たちがお話しする主役の 1 つである制御された核融合そのものです。マーベルユニバースのアイアンマンがどのようにして制御された核融合を実現するのかはわかりませんが、今のところ、人間の世界ではそれはまだ夢の段階です。

「アイアンマン3」ポスター出典：www.sfs-cn.com

制御核融合とは何ですか?

分子間の発熱化学反応がエネルギーを生み出すのと同様に、原子核（または中性子）間の発熱核反応もエネルギーを生み出します。このエネルギーは化学反応によって生み出されるエネルギーよりもはるかに大きいです。現在の制御された核融合方式では、重水素-三重水素反応が使用されています。

核融合反応の模式図（重水素と三重水素が反応して中性子とヘリウムを生成し、エネルギーを放出する）

出典：参考文献[2]

重水素原子核と三重水素原子核の核融合反応では、大量のエネルギーが放出されますが、重水素原子核と三重水素原子核を衝突させることは容易ではありません。

最初の問題は、重水素と三重水素の原子核は両方とも正に帯電しており、自然界では電子を捕獲して原子を形成することです。重水素と三重水素を反応させるには、これらの電子を取り除く必要があります。

それだけでなく、核は非常に小さいのです。原子をサッカー場とみなすと、原子核はサッカー場のピンポンボールに相当します。確かに、これほど広い空間で2つのピンポン玉を衝突させるのは極めて困難です。

科学者たちは、加熱と加圧という2つの問題を同時に解決する奇跡的な方法を使用しました。まず、加熱により原子内の電子と原子核を分離してプラズマを形成できるため、最初の問題が解決され、さらに原子核の運動エネルギー、つまりピンポン球の速度が増加します。加圧すると核間の距離が縮まり、「サッカー場」の大きさが小さくなります。これにより、原子核が衝突する確率が大幅に高まります。では、どの程度まで加熱すればよいのでしょうか?太陽を例に考えてみましょう。太陽の中心部の温度は1500万度、圧力は大気圧の3000億倍に達します。そのような圧力を達成するのは難しいので、より高い温度を使用するしかありません。我が国のEAST（完全超伝導トカマク型核融合実験装置）の動作温度は1億度にも達します。

しかし、これによって新たな問題も生じます。これほど小さな太陽をどうやって収容できるのでしょうか?この問題に対処するために、さまざまな制御された核融合の解決策が提案されてきました。より主流の解決策の 1 つは、磁気閉じ込めにローレンツ力を使用することです。トカマクは磁気閉じ込め装置です。

トカマク装置の概略図（コイル：コイル、プラズマ：プラズマ）

出典：参考文献[2]

その主な構造は内部が真空になっている円形のリングです。リングの周囲には複数のコイルがあり、リングの接線方向に沿って磁場を発生させることができます。リングの中央には複数のコイルがあり、リングの平面に垂直な磁場と、リングの接線方向に沿った誘導電場を提供します。このような電磁場の下では、プラズマはリング内に閉じ込められ、抵抗加熱（抵抗のある物質は電流が流れると熱を発生する）を受ける可能性があります。

制御された核融合を実現することには多くの利点があります。一方では、原材料は豊富です。海水1リットルから抽出された重水素の核融合反応によって放出されるエネルギーは、ガソリン300リットルによって放出されるエネルギーに相当します。トリチウムはリチウム原子の核分裂によって生成され、リチウムは地殻と海水の両方に大量に存在します。制御された核融合が実現すれば、人類は「エネルギーの自由」を大幅に達成できると言えるでしょう。一方、製品の汚染は少ないです。現在、制御された核融合の好ましい選択肢は、中性子とヘリウム 4 原子核と大量のエネルギーのみを生成する重水素 - 三重水素反応です。有害ガスを発生せず、放射能汚染もほとんどありません。

そして最も重要なのは、どちらも原子力エネルギーではあるが、核融合は核分裂よりも安全で信頼性が高いということです。核融合を維持するためには、プラズマが数億度の温度に達し、一定の密度を維持する必要があります。このような温度と密度を維持するには、極めて過酷な条件が必要です。少しでも条件が欠けると、核融合反応はすぐに停止してしまいます。さらに、核融合に関与するプラズマは真空状態にあり、その密度は非常に低く、空気の密度よりも数桁小さくなります。したがって、これらのプラズマが漏れて空気と反応して爆発するという問題を心配する必要はありません。

しかし、この無尽蔵でクリーンかつ環境に優しいエネルギーを手に入れるのは簡単ではありません。十分に高い温度と圧力は、制御された核融合に必要な条件です。これまでの分析によれば、温度と圧力の上昇により原子核同士が衝突する確率が高まる可能性がある。しかし、確率だけでは十分ではなく、実験中に発生する核融合反応の数を増やし、生成される総エネルギーを増やすために、そのような温度と圧力を十分長く継続させる必要があります。この時間をエネルギー閉じ込め時間と呼びます。圧力と温度とともに、制御された核融合を評価するための 3 つの要素を構成します。

制御された核融合の価値とは実際何なのか…

「外見は心を映す」「外見は正義」と言われるように、制御核融合においてもプラズマの「外見」、つまり「構成」を非常に重視しています。

これは、プラズマの断面形状が核融合のさまざまなパラメータに影響を与える可能性があるためです。科学者たちは、平均イオン密度、エネルギー閉じ込め時間、イオン温度という 3 つの重要なパラメータがあることを発見しました。制御された核融合実験では、これら 3 つの数値の積が大きいほど良い結果が得られます。プラズマの断面形状を最適化することで、これら 3 つの数値のエネルギー閉じ込め時間を改善できます。科学者たちは25年間、この製品の改良に取り組んでおり、現在では4桁も向上しています。

トカマク内のプラズマ（左）とその断面構成の模式図（右）

出典：参考文献[1]

賢い人間はすでにいくつかのルールを習得しており、望ましいプラズマ構成に基づいて電流や電圧などのパラメータを逆計算することができますが、それはただ...少し疲れます。簡単に言えば、どのセンサー入力データを読み取るか、その変化にどのように対応するかなど、習得したルールに基づいて制御システムを大まかに作成できます。しかし、実際の核融合プロセスでは、プラズマのエネルギー構成には常に奇妙な変動があるため、最終的な制御システムが生成される前に、測定とモデリングの相互反復、および元のシステムへのリアルタイム調整のプロセスが発生します。結果として得られるコントローラーは入手困難なだけでなく、同じプラズマ構成にしか使用できません。トカマク内で根本的に異なるプラズマ構成を実験しようとすると、システムに大幅な変更が必要になる可能性が高い。

まるでクライアントの父親がちょっとした変更を加えたかのように、トカマク内でまったく異なるプラズマ構成を実験する↑

システムを全面的に改革したい科学者は苦痛の仮面をかぶった↑

実のところ、人間はそんなに一生懸命働きたくないのです。結局のところ、特定の構成を実現するための具体的な方法よりも、構成自体の方が興味深いのではないでしょうか。したがって、非常に退屈で頭を悩ませる作業である構成パラメータを決定する方法を人工知能 (AI) に学習させましょう。

AI: 世界を変える時が来た——

そこで、タンパク質の折り畳みからスタークラフトまでさまざまな問題に挑戦してきたスター企業、ディープマインドは、ローザンヌにあるスイス連邦工科大学のプラズマセンターと提携し、トカマクを制御する旅を始めました。

強化学習：この質問はできる

最初のステップ

目標を設定する

勉強をする上で、目標を持つことは当然最も重要です。ターゲットには、プラズマの位置、電流フローの大幅な安定性、指定された伸長と X ポイントの位置による正確な形状の輪郭など、さまざまな望ましい機能を含めることができます (以下の表を参照)。これらの目標は、目標を達成できなかった制御戦略を具体的に罰する「報酬関数」に結合されます (学校の規則や規制と同様)。 12 を超える機能がリストされていますが、報酬関数の設計は最小限に抑えられており、強化学習アルゴリズムの柔軟性を最大限に高めることができます。（DeepMind：これはすべて先生の善意によるものです！

報酬関数の構成要素。各コンポーネントには目標値と実際の値があり、その多くは時間の経過とともに変化する可能性があります。

出典：参考文献[1]

ステップ2

戦略を決める

シミュレータを使用してプラズマ状態の進化に関する関連データを生成し、強化学習アルゴリズムにこのデータを収集させ、継続的に学習して経験を蓄積し、報酬関数のガイダンスに従って「最適な制御戦略」を見つけます。（実際、トレーニング専用に設計された「批評」アルゴリズムも存在します。詳細については、参考文献[1]を参照してください。）

ステップ3

実践演習

図に示すように、トカマクの「リアルタイム制御システム」は、従来のコントローラとディープラーニングによってトレーニングされた制御システムの 2 つの部分で構成されています。各実験では、標準プラズマが生成された後、最初にプラズマの位置と総電流を維持するために使用される従来のコントローラーが登場します。プラズマが安定すると、ディープラーニング制御システムが登場する番になります。毎秒1万回、92種類の測定データを通じてプラズマを正確に追跡し、以前に学習した戦略に基づいて原子炉の19個の制御コイルを調整し、最終的に必要なプラズマの形状と電流を取得します。

制御システムは 2 つの部分で構成されます。e はディープラーニング制御システムで、f は従来のコントローラーです。後者はまずプラズマを安定させ、次に前者はコイルを調整して目標のプラズマ構成を取得します。

出典：参考文献[1]

実際、この 3 つのステップのうち、最初の 2 つは学校の授業や練習モードのようなもので、最後のステップだけが実際の試験です。 3 番目のステップの前に、ディープラーニングアルゴリズムのトレーニングに使用されるのは、「練習問題」と「過去の試験問題」だけです。したがって、トレーニングを通じて最終的に得られたアルゴリズムは、実際の物理環境で実際のテストを実行すると、さまざまな実験条件下でプラズマの安定性を維持し、プラズマの幾何学的構造を変更でき、さらには...同じトカマク内で 2 つの独立した「水滴型」プラズマ構造を同時に生成することもできます。（下の写真、左）

科学者の目から見ると、それぞれの構成は完全に異なるパラメータ設定を意味します。

出典：参考文献[1]

これは従来のコントローラーの時代では想像もできなかったことです。「プラズマ構成制御」がコースだとしたら、人工知能は明らかにこのコースの天才学生です!プラズマコントローラーの設計は、最も複雑なシステムの 1 つであるトカマクの磁気制御の問題のため、常に困難な問題でした。この注目すべき人工知能の試みは、プラズマコントローラーの設計に新たな希望と方向性をもたらしたと言わざるを得ません。これにより、トカマク磁気制御と核融合科学の発展が間違いなく加速されるでしょう。

また、チェス（Alpha Go）やゲーム（StarCraft）に続いて、人工知能がこのような重要な分野でその能力を発揮したのもこれが初めてです。私たちが成長するにつれて、人工知能も成長します。次回はどこで私たちを驚かせるのでしょうか？待って見てみましょう！

参考文献:

深層強化学習によるトカマクプラズマの磁気制御 |ネイチャーオリジナル記事～

アリオラ、M.、ピロンティ、A. (2008)。トカマクプラズマの磁気制御（第187巻）。ロンドン：シュプリンガー。

制御核融合_百度百科事典 (baidu.com)

史上初めて、強化学習アルゴリズムが核融合を制御し、Nature に掲載されました: DeepMind が人工太陽で大きな一歩を踏み出します (qq.com)

新しい核融合炉が原子の融合によるエネルギー記録を倍増 (sciencefriday.com)

DeepMind の AI が核融合炉のプラズマをうまく制御できるようになりました – 未来学者でバーチャル基調講演者のマシュー・グリフィン (fanaticalfuturist.com)

制御された核融合の応用には、常に「あと50年」かかるのでしょうか? （百度）

「人工太陽」が新たな一歩を踏み出し、制御された核融合技術が新たな飛躍を遂げた（baidu.com）

DeepMind_Baidu 百科事典 (baidu.com)

なぜ重水素と三重水素なのでしょうか?融合の基本原理を 1 つの記事で徹底的に理解できます。 - 知乎（zhihu.com）