「大ヒット作」を小さなスクリーンで上映することはできるのか？携帯電話で写真に「被写界深度効果」を実現しましょう

1. 要約

iOS システムでは、ユーザーがシステムの壁紙を設定すると、ロック画面の時計の前に壁紙の一部が表示され、階層化された視覚スタイルが作成されることがあります。このロック画面効果は、iOS 16 以降で利用できます。ユーザーは背景として通常の画像を選択でき、画像内のコンテンツの一部が適切な場所でデスクトップの一部のコンポーネントを覆うことができます。 iOS では、このロック画面効果を「Depth Effect」と呼んでいます。これは被写界深度効果を意味します。

2. 被写界深度効果とは何ですか?

被写界深度効果は写真撮影において重要な概念です。カメラのレンズをある一点にピントを合わせると、その前後の一定範囲内の風景が鮮明な画像として映し出される効果を指します。被写界深度効果は、写真のどの部分を鮮明にし、どの部分をぼかすかを決定し、写真の視覚的なインパクトと芸術的な表現を高める上で重要な役割を果たします。

被写界深度効果は写真撮影において幅広い用途に応用できます。たとえば、ポートレート写真では、写真家は大口径レンズと望遠レンズを使用して、浅い被写界深度効果を生み出し、背景をぼかして被写体の表情や細部を強調することがよくあります。風景写真では、シーン全体がはっきりと見えるように深い被写界深度効果を生み出すために、絞りを小さくし、広角レンズを使用することが好まれます。

図1 被写界深度効果図

3. 被写界深度効果を実現する方法

被写界深度効果を実現する方法は多数ありますが、主にカメラシミュレーション、レンダリング技術、後処理の 3 つのカテゴリに分けられます (下図を参照)。

図2 被写界深度効果を実現する方法

3.1 カメラシミュレーション

写真撮影では、カメラシミュレーションが被写界深度効果を実現する最も直接的な方法です。カメラのさまざまなパラメータを調整することで、さまざまな被写界深度効果を持つ写真をシミュレートできます。

① 絞り制御：絞りは被写界深度に影響を与える重要な要素です。絞りが大きいほど（絞り値が小さいほど、たとえば f/2.8）、被写界深度は浅くなり、背景のぼかし効果が顕著になります。絞りが小さいほど（f/16 のように絞り値が大きいほど）、被写界深度が深くなり、写真内の要素が比較的鮮明になります。

②焦点距離調整：望遠レンズで撮影する場合、被写界深度が比較的浅くなり、背景のぼかし効果が大きくなります。短焦点レンズを使用すると、被写界深度が深くなり、画像がより鮮明になります。

③撮影距離：撮影距離が近いほど被写界深度が浅くなり、背景のボケが顕著になります。逆に、撮影距離が遠くなるほど、被写界深度は深くなります。

3.2 レンダリング技術

コンピュータ グラフィックスやゲーム エンジンでは、レンダリング テクノロジは被写界深度効果を実現するための重要な手段です。アルゴリズムのシミュレーションと計算により、被写界深度効果のある画像をリアルタイムまたはオフラインで生成できます。

① 深度情報の計算：レンダリング処理中に、焦点に対するシーン内の各ピクセルの距離（深度情報）が計算されます。これは通常、ビュー フラスタム内のピクセルの Z 座標を計算することによって行われます。

② ぼかしアルゴリズムの適用：ぼかしアルゴリズム（ガウスぼかし、放射状ぼかしなど）を使用して、焦点から離れたピクセルをぼかします。ピクセルの深度情報に基づいてぼかしの度合いを決定できます。焦点から離れるほど、ぼかしの度合いが大きくなります。

③深度マップ：深度マッピングは、カメラの被写界深度効果をシミュレートするためによく使用される手法です。レンダリング プロセス中に深度マップを生成し、シーン内の各ピクセルからカメラまでの距離情報を記録します。この深度マップに基づいて画像がぼかされます。

3.3 後処理

後処理は被写界深度効果を実現するためのもう 1 つの重要な方法です。専門的な画像処理ソフトウェアを使用して写真や画像を編集および調整することで、被写界深度効果をさらに最適化できます。

① ぼかしフィルター：後処理ソフトウェアでは、ぼかしフィルターを使用して画像をぼかすことができます。フィルターパラメータ（ぼかし半径、ぼかし強度など）を調整することで、ぼかしの度合いと範囲を制御できます。

② 色とコントラストの調整：画像の色とコントラストを調整することで、被写界深度効果をさらに高めることができます。たとえば、前景の彩度とコントラストを上げると前景がより目立つようになり、背景の彩度とコントラストを下げると前景がぼやけて柔らかくなります。

③ レイヤーとマスク: 複雑な後処理では、レイヤーとマスクを使用して被写界深度効果を正確に制御する必要がある場合があります。異なるレイヤーを作成し、異なるぼかしフィルターと調整効果を適用し、マスクを使用してレイヤーを合成することで、より微妙な被写界深度効果を実現できます。

4. 携帯電話で被写界深度効果はどのように実現されるのですか?

これまで、被写界深度効果を実現するいくつかの方法を紹介してきました。では、携帯電話の写真で被写界深度効果を実現するにはどうすればよいでしょうか?既存の写真を加工しているので、後処理が使われているのは明らかです。携帯電話で写真の被写界深度効果処理を実現するには、主に次の 2 つの手順があります。

① AIを活用して画像を処理し、被写体の前景と背景を区別します。

②画像の前景部分を取得し、ロック画面コンポーネントと元画像を重ねてレイアウトし、3Dの視覚的なレイヤー効果を実現します。

図3 携帯電話で被写界深度効果を実現するフローチャート

4.1 AIを使った画像処理

レイヤー効果を実現するには、まず元の画像をセグメント化し、前景と背景の領域を抽出する必要があります (実際には、前景だけを抽出する方が簡単です。これは、後で再構成して実装するときに紹介します)。画像の前景と背景を抽出するには、画像分割技術を使用する必要があります。画像セグメンテーションの目的は、画像内の各ピクセルまたはピクセル セットを特定のカテゴリまたはオブジェクトに割り当て、同じカテゴリまたはオブジェクト内のピクセルは一部の属性が類似し、異なるカテゴリまたはオブジェクト間のピクセルはこの属性に大きな違いを持つようにすることです。画像セグメンテーションの簡単な図を以下に示します。

図4 画像セグメンテーションの概略図

4.2 被写界深度効果を実現するための再結合

図5 階層化された設定

画像の前景画像と背景画像を取得したら、それらを並べ替えて、ロック画面の表示をコントロールできます。具体的なレイアウトルールは次のとおりです。

①最初のレイヤー（一番下のレイヤー）は画像の背景や元画像を配置するために使用されます

②第2層（中間層）は情報表示に関わるコントロールを配置する

③第3層（最上層）は、画像分割によって得られた画像の前景部分、つまり画像の本体を配置するために使用される。

上記の階層化レイアウト方式により、3Dのような被写界深度効果を実現できます。

5. Androidで被写界深度効果を練習する

上記の解決策を検証するために、この記事では Android 側で通常の写真に対して被写界深度効果を実現する方法を実践し、実装します。具体的な計画は以下のとおりです。

① Huaweiのエンドサイドインテリジェントディープラーニングフレームワークに基づいて、画像分割効果を実現し、画像の前景画像を取得します。

② 相対レイアウトを使用して、元の画像、コンテンツ コントロール、前景画像を重ねて、被写界深度効果を実現します。

下の図は、Android で Depth Effect を実装するプロセスを示しています。

図 6 Android の深度効果の実装フローチャート

最初のステップは、元の画像を読み取って画像のセグメンテーションを実行することです。現在市場で入手可能な画像セグメンテーション ライブラリから 1 つを選択できます。この記事では、Huawei の機械学習キット ML Kit を使用します。具体的なアクセス方法についてはこの記事では説明しません。ご興味がございましたら、公式サイトからデモをダウンロードしてご覧いただけます。モデルをローカルで実行し、入力画像を分析および処理して、元の画像と前景画像のビットマップ データを取得します。

2 番目のステップは、元の画像の前景部分を取得し、レイヤーレイアウトを実行することです。 XML レイアウト ファイルでは、相対レイアウトを使用して、前景画像、コンテンツ コントロール、元の画像の位置を事前に設定しておきます。画像が正常にセグメント化されると、取得された前景画像のビットマップ データが対応する ImageView に設定され、被写界深度効果が得られます。被写界深度効果を実現するためのレイアウト スタイルは次のとおりです。

レンダリングと描画後の最終的な効果は下の図のようになります。上が元の画像、下が処理後に実現した 3D レイヤー効果です。

図7 Androidで実現した被写界深度効果

6. まとめ

モバイル システムやアプリケーションで被写界深度効果を使用すると、携帯電話のインターフェイスがより視覚的に美しく階層化され、ユーザー エクスペリエンスが向上します。 AI テクノロジーが成熟し、エッジ コンピューティング能力が向上し続けると、エッジ AI アプリケーションはよりインテリジェントになり、パーソナライズされ、多様化します。同時に、より革新的で豊かでエキサイティングなユーザー エクスペリエンスをユーザーに提供するアプリケーション シナリオやソリューションが登場することを期待しています。

著者: 鄭睿

部署：中国移動スマートホームオペレーションセンター