300万枚の画像、15,000個のゼブラフィッシュの胚、科学者がAIによる胚認識を実現

システム生物学者のパトリック・ミュラー氏は、300 万枚の画像と 15,000 個のゼブラフィッシュの胚のデータセットを使用して、AI ベースの胚認識を実装することに成功しました。

著者｜賈玲

編集者｜サンヤン

動物の発育過程において、胚は時間の経過とともに複雑な形態変化を起こします。研究者たちは、発達の時間と速度を客観的に定量化し、初期胚の段階を分析して進化と発達のプロセスをより深く理解するための標準化された方法を提供できることを期待しています。

これまで、胚の発育段階や形態変化に関する学者の理解は、顕微鏡による観察から得られていました。しかし、胚発生の段階の移行は理想的でも安定的でもない。影響する要因が非常に多いため、研究者が特定の発達状態を観察することは困難です。胚の形態を観察して発育の時期と段階を推測するプロセスは、依然として比較的主観的です。

発達時間と発達速度の関係を客観的に確立するために、システム生物学者のパトリック・ミュラーはコンスタンツ大学の研究者を率いて、双子ネットワークに基づくディープラーニング手法を開発しました。画像比較により、人間の介入なしに胚の発育過程を自動的に捉え、胚の発育の特徴的な段階を特定することができます。現在、関連する結果は「Nature Methods」に掲載されています。

この論文はネイチャー・メソッド誌に掲載された。

論文を入手する:

https://www.nature.com/articles/s41592-023-02083-8

01 実験プロセス

データセット: 多数の胚画像を統合

研究者らは、高スループット画像パイプラインと ResNet101 ベースの画像セグメンテーションを使用して、300 万枚の画像と 15,000 個のゼブラフィッシュ胚のデータセットを構築し、個々の胚の発達軌跡を生成しました。各胚は個別に追跡され、モデルに入力されるときに異なる色の境界ボックスで区切られます。各実験ごとに個別の JSON ファイルが作成され、各カテゴリに属する​​胚に関する情報が含まれています。

画像処理図

モデルアーキテクチャ: シャムネットワークモデル

ツイン ネットワーク構造は、同じ構造を持つ 2 つの並列ニューラル ネットワークで構成されます。同時に 2 枚の画像を入力として受け取ることができ、重みは 2 つのニューラル ネットワーク間で共有されます。画像は、特徴埋め込みに基づく類似度計算を通じて比較されます。

以下は、ツイン ネットワークの構造を示す図です。

ツインネットワーク構造

ツインネットワークを構成するニューラルネットワーク構造は次のとおりです。

ResNet50ベースのニューラルネットワーク

バックボーン ネットワーク: ImageNet データセットに基づいて、事前トレーニング済みの重みを持つ ResNet50 アーキテクチャがバックボーン ネットワークとして使用されます。

埋め込みモデル ヘッド: バックボーン ネットワークの出力は平坦化され、埋め込みモデル ヘッドに渡されます。埋め込みモデル ヘッドは、各レイヤー間にバッチ正規化レイヤーがある 3 つの密なレイヤーで構成され、サイズ (1, 256) の出力/埋め込みを生成します。

転移学習: 畳み込みブロック 5 とモデル ヘッド レイヤーを除く ResNet50 バックボーン ネットワークのすべてのレイヤーが凍結されます。 ResNet50 によって生成された特徴埋め込みは距離レイヤーで結合され、トレーニング中に異なる入力に対してネットワークによって生成された埋め込み間のユークリッド メトリックを計算します。

アルゴリズムのトレーニング: トリプレット損失トレーニング

アルゴリズムのトレーニングプロセスは次のとおりです。

画像トリプレットの構築: 画像トリプレットは、3 つの胚画像、すなわち、ランダムな発達段階 t1 における胚の画像であるアンカー画像で構成されます。ポジティブ画像、つまり発達段階 t1 に類似した画像（ニューラル ネットワーク 1 への入力）または画像強化後のアンカー画像（ニューラル ネットワーク 2 への入力）ネガティブ画像は、発達段階 t2 ≠ t1 にある胚の画像です。

画像トリプレット図

トリプレット損失トレーニング: 構築された画像トリプレットは Siamese ネットワークに渡され、次の式に基づいてトリプレット損失が計算され、アンカー画像とポジティブ画像間の類似度が最小化され、アンカー画像とネガティブ画像間の類似度が最大化されます。

トリプレット損失計算式

A はアンカー イメージ、P はポジティブ イメージ、N はネガティブ イメージを表します。

反復トレーニング: ニューラル ネットワーク 1 は、300,000 個のゼブラフィッシュ胚画像トリプレットを使用して 10 エポックにわたってトレーニングされました。ニューラル ネットワーク 2 は、アンカー イメージの強化と NVIDIA GeForce RTX3070 (ASUS) を使用した GPU アクセラレーション トレーニングを備えた 100 万枚の画像トリプレットを使用して 2 エポックにわたってトレーニングされました。

タスクベースのトレーニング: 画像の類似性、胚の段階、発育速度と温度、薬物によって誘発される胚の発育の変化に関する対応するトレーニングが実施されました。

02 実験結果

結果1: 類似性グラフを使用した自動胚ステージング

テスト画像を胚画像セットと比較し、それらの間のコサイン類似度を計算し、類似度スコアを取得して胚画像を分類します。

試験胚と参照画像の類似度グラフ

テスト画像を発達中の胚画像の時系列と比較することで、時間の経過に伴う類似性の曲線が得られ、そこから 2 つの主な特徴が抽出されます。

曲線のピークは、テスト画像内の胚がどの発育段階にあるかを示します。

曲線のピーク以外の領域には、ピークの幅や遠い胚段階との類似性などの追加情報が含まれており、異なる時点での形態学的類似性を反映しています。

胚年齢予測の模式図

ツイン ネットワークは、胚の時系列画像のセットを識別および予測し、予測された発育段階に基づいて軌道を構築し、正確な胚の段階分けを実現します。

結果2: 発達速度と温度の機能的関係の調査

これまで、胚発生の温度依存性を定量化するには、発生タイミングを手動または半自動で注釈する必要があり、妥当な時間内に分析できる実験の数が大幅に制限されていました。

構築された双子ネットワークは、温度に依存した発達速度の変化を自動的に分析するために使用されました。実験計画は、ゼブラフィッシュの胚を23.5℃から35.5℃の間、クロコイの胚を18℃から36℃の間に置くというものでした。各温度条件下で、ゼブラフィッシュの胚 100 ～ 200 個、またはクロコイの胚 20 ～ 100 個が分析されました。

実験結果は図に示されています。

異なる温度におけるゼブラフィッシュとクロコイの胚発生の分析

a、d: ゼブラフィッシュとクロコイの年齢推定の模式図。

b、e: 異なる温度でのゼブラフィッシュとクロコイの発育。

c、f: 異なる温度におけるゼブラフィッシュとクロコイの推定成長率の自然対数。

温度変化は両方の胚の発育速度に大きな影響を与えました。温度が低いと胚の発育は遅くなり、温度が高いと発育は著しく加速します。 10°C の気温変化に直面すると、発達速度はおよそ 2 倍に変化しました。

· 双子ネットワークを使用して、発達速度の温度依存性を定量化し、アレニウス方程式を使用してデータを適合させます。種特有の温度範囲にわたって、線形近似の傾きは、ゼブラフィッシュとミダカに対してそれぞれ 65 kJ/mol と 77 kJ/mol の見かけの活性化エネルギーを与えました。これらの見かけの活性化エネルギーは、他の変温動物（カエル、ショウジョウバエ、酵母など）の活性化エネルギーと類似していますが、恒温動物（マウスや人間など）の活性化エネルギーとは明らかに異なります。

理想的な仮定に反して、気温の高い地域では、両方の胚の発育速度は加速せず、安定する傾向がありました。低温地域では、ゼブラフィッシュの発育は直線的に遅くなり、温度が 23°C を下回ると胚の発育が止まります。クロコイの胚は非線形の発達の特徴を示し、長期間にわたって原始的な嚢の発達段階で停滞します。

結果3: 胚の進化における自然変動の定量化

研究では、胚は遺伝的変異、外部からの干渉、遺伝子発現のノイズやランダム性の影響を受け、成長速度や発達段階に偏差が生じるものの、進化のプロセスは必ず完了することが判明した。

胚の進化の違いの図

双子ネットワークは、同じ年齢の胚間の個々の表現型の違いを評価するために使用されました。実験結果は図に示されています。

胚発生図

左側のパネルは、0 分 (緑)、400 分 (青)、800 分 (紫) の異なる時間後に予測される胚の発育段階の割合を示しています。

右のグラフは、胚の平均類似度値が時間の経過とともに減少したことを示しています。

初期の胚発生では、予測される胚段階の分布は狭いですが、分節期の開始とともに、予測される胚段階の分布幅は広がります。これは、胚の発達中に、個体間の差異は徐々に増加するが、平均的な類似性の値は時間の経過とともに減少することを示唆しています。

300 万枚を超えるゼブラフィッシュの胚画像のデータセットでは、約 1% の胚に異常な発達が見られ、その最も一般的な原因は、自発的な崩壊または背腹極性の欠陥です。研究者たちは双子ネットワークを利用して、発達異常のある胚を早期に検出することができた。これらの異常な胚は、予測される正常な発育範囲外で低い平均類似値を示しました。

異常な胎児の発育の図

結果4: 薬物処理された胚の表現型の特定

胚の発達は複数のシグナル伝達分子によって調整されており、それらの活動の調節は胚の表現型の変化につながる可能性があります。ゼブラフィッシュの発達過程には、7 つの主要なシグナル伝達経路があります。そのうち、骨形成タンパク質 (BMP)、レチノイン酸 (RA)、Wnt、線維芽細胞増殖因子 (FGF)、および Nodal シグナル伝達経路は、主に胚葉の方向と前後背腹軸の形成を制御し、ソニック ヘッジホッグ (Shh) および平面細胞極性 (PCP) シグナル伝達経路は、体軸の伸長と形態形成を制御します。

研究者らは、異常な胚の検出における双子ネットワークの有効性をテストし、その結果を下の図に示します。

未処理胚と薬剤処理胚の表現型の比較

a: 未処理の胚は、薬剤処理した胚の表現型の参照として使用されました。

b-i: 異なる薬剤で処理した胚と未処理の胚の類似性の変化。

j: 異常検出の精度に対する胚数依存性。

未処理の胚と、BMP、Nodal、FGF、Shh、PCP、Wnt阻害剤で処理した胚、およびRA曝露胚の表現型を比較したところ、未処理の胚間では高い類似値を示したのに対し、小分子薬剤で処理した胚と未処理の胚間の類似値は概して低かった。

時点の統計分析を実行して、胚集団が参照集団から大幅に逸脱する時点を特定し、表現型欠陥のある胚集団を検出します。検出の精度は、分析される胚の数と干渉の種類によって異なります。

さらに、この研究では、さまざまな浸透率と重症度の表現型を識別する方法の精度を調査しました。さまざまなレベルの BMP 経路阻害によって引き起こされるゼブラフィッシュの胚の既知の表現型の範囲が図に示されています。ツイン ネットワークは、発達上の逸脱を正確に検出できます。浸透率の高い表現型や、高用量の小分子 BMP シグナル伝達経路阻害剤によって引き起こされる明らかな表現型の場合、正確な検出には少数の胚のみが必要ですが、軽度の表現型の場合は約 30 個の胚が必要です。

異なるレベルの BMP 経路阻害下におけるゼブラフィッシュ胚の表現型の変化

これらの分析は、正常に発育中の胚の画像のみを使用してトレーニングされた Siamese ネットワークが、胚の表現型の変化を偏りなく検出できることを示しています。

結果5: 胚発生期間の自動導出

通常、試験胚の発育時期を評価するために参照胚画像が利用可能ですが、新しく発見された種や特性が未解明の種の場合、そのような参照画像が利用できない場合があります。

研究者らは、テスト画像と以前の時点での同じ胚の他の画像との類似性を計算することで、双子ネットワークを使用して発達段階を決定できると提案している。

ゼブラフィッシュの胚の類似性分析の結果を図に示します。

胚発生期間の導出

a: 試験胚と、同じ胚について以前に取得した時点の画像との類似性を計算します。

b: 代表的な類似度マトリックス。

異なる発達段階では、類似点が独自の分布特性を示します。彼らは共通のパターンを観察しました。高い類似度の値は局所的に密集しているのに対し、より離れた時点になると類似度は低下して横ばい状態になります。

興味深いことに、Siamese ネットワークによって評価された画像ペア間のローカルおよびグローバルな統計的類似性は、開発中の重要な段階の順序と一致していました。定常期に入る胚は、古典的な卵割、胚盤胞、胚盤、器官形成、分節段階など、発達における主要な期間を強調する安定した形態を持ちます。対照的に、静止段階の境界に位置する胚は、発達形態に大きな変化が起こる短い期間を表します。

次に、研究者たちはこのアプローチをメダカやイトヨなどの他の種にも適用しようとしている。結果は、双子ネットワークがこれらの形態的に多様な胚配列に関する有益なアトラスを生成したことを示しました。

クロコイとイトヨの胚の発育段階と移行の自動検出

さらなる研究で、研究者らはこの手法をより遠縁の線虫Caenorhabditis elegansに適用した。研究者らは、公開された論文やYouTube動画など、さまざまな独立した情報源からのオープンデータを使用してネットワークをトレーニングおよび評価し、最初の4つの前胚細胞を形成するC.エレガンスの最初の分裂周期を自動的に特定することに成功した。

これらの結果は、Twin Network アプローチを使用すると、この目的のために事前に特別にトレーニングされたモデルを必要とせずに、さまざまな生物システムと幅広い画像データセットのさまざまな種の発生アトラスを自動的に生成できることを示しています。

03 ツインネットワークとデジタルツインネットワーク

5G時代では、デジタルツインネットワークが繰り返し言及されています。同時に、同様の名前を持つ「ツインテクノロジー」、つまりツインネットワークも画像認識の分野で登場しています。 2 つのコンセプトは異なりますが、特定の領域では相乗効果が実証されています。

まず、これらはまったく異なる 2 つの概念であることに注意してください。

Twin Network: 主に画像検索、画像マッチング、画像分類などの分野で使用されるディープラーニング アーキテクチャ。画像の埋め込み表現を学習し、画像の類似性の比較と分析を実現します。

デジタル ツイン ネットワーク: リアルタイムのデータ更新とシミュレーション テクノロジを通じて対応する物理エンティティと対話し、さまざまな条件下での物理エンティティの動作とパフォーマンスをシミュレートできる物理エンティティの仮想モデル。主に工業製造、モノのインターネット、都市計画、航空宇宙などの分野で使用されます。

AI アルゴリズムとして、Twin Network は独自の利点を活用して、デジタル ツイン ネットワークの強化と効率性の向上を実現します。

たとえば、産業機器のデジタルツインでは、ツインネットワークは異なる時点での機器の画像を比較して、機器の状態の変化や違いを把握することができます。デジタルツイン都市計画では、ツインネットワークは監視プローブによってキャプチャされた画像データを処理し、交通の流れや道路状況などのリアルタイム監視とシミュレーションを行うことができます。

要約すると、Twin Network は、画像データとディープラーニング技術を組み合わせることで、デジタルツインネットワークに画像関連のサポートとアプリケーションを提供し、それによってデジタルツインの情報取得、監視、意思決定能力を向上させます。

Twin Network だけでなく、他の AI ツールもデジタルツインをさらに強化します。