メタバースの手袋を300元で作りました

VR ゲーム アンカーを務めて 1 か月が経ち、「Half-Life: Alyx」にどんどんハマっていく一方で、私は別の疑問についても考えるようになりました。「今の VR に何が欠けているのか?」

「中の人」として、私は生放送中に仮想イメージを使って説明します。将来仮想世界が存在するとすれば、私たちはデジタルの分身と「深く結びつく」はずだと私は信じています。この結びつきは外部認知だけではなく、現実世界と仮想世界での経験も共通であるべきである。

プレイヤーは、VR ゲームが従来のゲームとはまったく異なる体験をもたらすことを知っています。 VR ゲームでは、コンピューターの前にかがみ込んでマウスやキーボードを操作する必要はありません。両手のハンドルを本当に銃のように使い、敵に狙いを定めて人差し指で引き金を引くことができます。今日の VR ゲームはすでに指の動きを非常に正確に認識できますが、VR の世界では落とした雑誌を拾うことはできません。

たまたまYouTubeを閲覧していたところ、ルーカスさん（アメリカのVRスタートアップチームの創設者）がVR触覚グローブを作っているのを見ました。重要な点は、すべての部品のコストがたった 60 ドルだったことです。

この動画を自分のアカウントで再投稿しようと申請したのですが、こんなにも熱狂的な反応があるとは思っていませんでした。さらに、ルーカスの「これで本当に何にでも触れることができる」という言葉が私の好奇心を高めました。手がかりをたどって、GitHub でオープンソースのチュートリアルを見つけ、ペアを作ることにしました。

購入する必要がある部品 |著者提供の写真

現在の技術では、「あらゆるものに触れる」ことができる VR 周辺機器が登場するとは思えません。しかし、これがまさに私が感銘を受けた点です。現在、VR 市場には、ヘッドセットと 2 つのコントローラー以外に新しいものは何もありません。 「一般的な価格」でユーザーエクスペリエンスを拡張する試みは、試してみる価値があると思います。

バーチャルに触れる最も安価な方法

1987年、任天堂のファミコンの時代には、手袋はモーションセンサーゲームの周辺機器として、すでに「入力デバイス」としての機能を果たしていました。

Power Glove丨YouTube「ゲーム史家」

ゲーム内の銃を現実世界で触りたい場合、手の動きをコンピューターに認識させ、仮想の手が実際の手と同期して動くようにモデリングする（信号入力機能）ことに加え、仮想の手が銃を握って信号を返すまで待つ必要があります。この信号が手に作用し、これをフォースフィードバックと呼ぶことがあります。

Meta はかつて、マイクロ流体技術を採用し、空気圧アクチュエータを使用して気泡を膨らませたり縮めたりすることで正確な圧力を生み出す触覚手袋のビデオを公開しました。この目的のため、Meta 社は高速マイクロ流体プロセッサも構築していると述べた。メタバースに「全力投球」していたザッカーバーグがついに何かを生み出したことに皆がまだ満足していたとき、別の触覚グローブ開発会社であるHaptXが「Metaが我々を真似した！」と言った。

Meta の開発には 7 年かかり、HaptX の開発には 10 年かかりました。誰が誰を真似したのかは分かりませんが、一つ確かなのは、VR 関連の技術が発売から成熟するまでには何年もかかるということです (少なくとも一般ユーザーが受け入れられる価格では)。

フォースフィードバックを「非常に低コスト」で実装する方法に興奮しています。チュートリアルを読んでみると、LucidVR が特に「トリッキーな」方法を使用していることがわかりました。 Meta と HaptX が手の皮膚のあらゆる部分を力点にするのに対し、LucidVR のグローブは指先にのみ力をフィードバックします。

引き紐を指に固定します |著者提供の写真

簡単に言えば、物を掴もうとするときに、指がそれ以上曲がらないようにすぐに引っ張る必要があります。曲げの振幅が異なるため、手に「持つ」物体のサイズと形状が異なります。指が曲がり続けるのを防ぐには、指先に「反力」を与えることです。

指先にかかる力 |著者提供の写真

そこで、グローブのメイン部分を「メインスイッチ」とし、5本の引き紐を伸ばして指先に巻き付けることで、いつでも止められるようにしました。

サーボはポテンショメータに接続されています。車軸が（サーボ）限界まで回転すると、ステアリングホイールが車軸のネジをブロックし、車軸がそれ以上回転せず、引きロープがそれ以上展開されないようにします。丨著者提供の写真

フォースフィードバックの原理を理解した後も、いつ、どのように「ゲートを閉じる」かを理解する必要がありました。

「いつ」というのは分かりやすく言うと、仮想世界内の物体に仮想の手が触れた瞬間です。そのため、生体の運動信号とコンピュータの電気信号を相互に変換し、相互に「理解」できる媒体を作成する必要があります。これは、この手袋の最も独創的なデザインだと私は思います。

回転式ポテンショメータ（原理は中学校の教科書に出てくるスライド可変抵抗器に似ています）を引っ張りロープに接続して使用します。指を曲げると、5 本の引きロープがそれぞれ 5 つのポテンショメータを駆動します。引っ張られたロープの長さはポテンショメータの抵抗値の変化に変換され、分析のために仮想世界に送信されます。

教科書のスライディング抵抗器 |インターネットからの写真

IMU (慣性計測装置) や曲げセンサーをベースにした「データ グローブ」のモデリングの実装も他にもあります。慣性センサーとは、物体の3軸姿勢角と加速度を測定する装置です。一般的には、3 軸ジャイロスコープ、加速度計、磁力計が含まれており、マルチセンサー データの融合を実行して各指の 3 自由度の方向を再構築します。曲げセンサーの方が分かりやすいです。指が曲がると物理的な変形が発生し、センサーの抵抗が変化します。

曲げセンサーとポテンショメーターの価格比較 |画像はTaobaoより

これら 2 つは明らかにデータをより正確に送信しますが、なぜ使用しないのでしょうか?答えはただ一つ、「より高価になる」です。

3D プリントされた車軸を使用して、ポテンショメータと引きロープを「接続」します |写真提供：著者

いつ「門を閉める」かを理解した後は、「どのように「門を閉める」」かを理解する必要があります。明らかに、引き紐は、引き込まれたり引っ込んだりするときに「キャッチ」する装置が必要です。私はチュートリアルに従って、模型飛行機でよく使われるサーボであるMG-90Sを購入しました。これも1個10元と非常に安価です。

幅広い用途に対応する MG-90S サーボ |画像はAmazonより

1か月間働いても、ゲーム内で手に入れたのはワインのボトル1本だけでした。

チュートリアルを読んだ後、私はすぐに原理を理解し、「これはかなり簡単そうだな」と思いました。最初はこれ、次はこれ、最後にあれ、という感じではないでしょうか。

私はすぐに、生活でよく使われる道具の部品をすべて電子商取引プラットフォームで注文しました。購入できないのは、完成品の一部（モジュールを組み立てるための骨組み）だけです。オープンソースのコンポーネントパラメータに基づいて、家庭用3Dプリンターを使用して作成しました。

もちろん、ユニバーサル Taobao エージェントも見つけることができます |著者提供の写真

そして、これに1ヶ月かかりました...同時に、「近道をする」ことのもう一つの意味は「まだ完璧ではない」ということだと深く理解しました。

ハプティックグローブを装着し、Valve Index（VRヘッドセット）の位置を調整して、ゲーム「Half-Life: Alyx」を起動しました。お馴染みの「シティ17」にいました。私はリュックサックから拳銃を取り出し、路上に散らばったワインボトルを狙った。 「バン！」銃を発射した瞬間、反動があるはずだと想像しました。実際、引き金を引いた瞬間に引っ張られたのは人差し指だけでした。公園で風船を打つよりも「プラスチック」のような体験でした。

でも成功したと思います！道に散らばったワインボトルに着替えて、手に「持って」みました。大体、円筒形だと「感じ」ました。

ゲームでの使用による効果 |著者提供の写真

もっと柔軟に使いたいと思ったときに、問題が見つかりました。

1つ目は「認識精度」の問題です。まず、位置追跡とローカル追跡という 2 つの概念を理解する必要があります。グローブの全体的な位置追跡は、Vive Tracker、Oculus ハンドル、その他の既存の追跡テクノロジーを接続することで実現できます。

指のローカルトラッキングは、フォースフィードバック グローブが解決する必要がある重要な問題です。組み立てているときに、この手袋の設計では各指関節にセンサーを取り付ける必要がないことに気が付きました。指の曲げ状態は、引っ張るロープによって変換された抵抗信号を通じて大まかにしかモデル化できず (ルーカスはこの目的のために一連のソフトウェアを設計した可能性があります)、各関節に対して十分な精度がありませんでした。

ハンドトラッキング |写真提供：著者

2つ目は「識別範囲」の問題です。また、手袋の構造がシンプルなため、指は上下に動かしたときだけ認識されます。左右に広げたり、回転したりといった他の自由度は不可能です。しかしルーカス氏は、すでにこの問題に取り組んでおり、次のバージョンのグローブでは、最初の関節にポテンショメータを追加することで、左右の拡張の自由度を高める予定だと語った。

認識が正確かどうかはフィードバックの効果に影響します。もう一つの要素は限界位置の調整です。指の異なる曲げ角度は異なる限界位置に対応し、ステアリングホイールを異なる角度に回転させ、伸縮するロープに作用します。

私の理解では、これが可能なのは、LucidVR システムがこの「対応」を事前に設定しているためです。

ただし、手の状態は人それぞれ異なるため、使用前に限界位置を「個人的に」調整する必要があります。きつく調整しすぎると、物をつかむ前に手が引っ張られてしまいます。緩く調整しすぎると、物を掴むときに素手で握りこぶしを作るような感じになります。

これを行う簡単な方法はなく、ヘッドセットを装着するときに締め付け感を感じて限界位置を「推定」することしかできません。ヘッドセットを外した後、サーボネジを緩めてステアリングホイールを調整し、仮想世界でオブジェクトをつかむことができるまでこのプロセスを繰り返します。

限界位置の継続的なデバッグ |著者提供の写真

また、長時間伸ばすと紐や手袋が変形してしまいます。デバイス全体が手に完全にフィットするのではなく、手袋に接着されているため、手袋がわずかにずれると、フォースフィードバックにエラーが発生します。

エクスペリエンスの最適化は止まりません!変形したり、補足したりできる

実際に手袋が使用される前に、ちょっとしたエピソードがあります。

何度もデバッグしましたが、サーボはまだ動きませんでした。私は助けを求めて Discord に行きましたが、ネットユーザーから、サーボ ケーブルが開発ボードに間違って接続されたのではなく、サーボに電力を供給するには電流が小さすぎることが原因であると聞きました。開発ボードと同じパワーバンクを共有するのではなく、新しいパワーバンクをサーボに個別に接続する必要があります。

LucidVR Discord グループには 14,000 人のフォロワーがいます。誰かがこの手袋の紐をより丈夫なプラスチックシートに交換して改良し、紐が簡単に変形してしまう問題を解決しました。

構造を直接変更して外骨格形状にし、さらにセンサーを追加するためのスペースを残す人もいます。多くのオープンソース プロジェクトは包括的ではありません。それどころか、技術愛好家が自ら探求できる「空白」を多く残しています。

外骨格バージョン |著者提供の写真

デモの中で、ルーカス氏は手袋をはめたVR体験が非常にエキサイティングだと説明しました。 Half-Life: Alyx では、危険な状況では、缶を拾って投げ捨てたり、車まで歩いてドアを開けて乗り込んだり、さらには壁を乗り越えて逃げたりすることもできます。しかし、これは他の感覚体験をもたらす「脳サプリメント」に近いものです。せいぜい壁に押し付けられる抵抗を感じる程度で、重力に打ち勝って上へ登っていくような感覚は味わえないでしょう。

こうしたことを知った上で、初めてこの手袋をはめた時、その物体が大きいか小さいか、丸いか四角いかを感じ、指先のざらざらとした「感触」さえも新鮮に感じました。これまでは、ガラス瓶を「空」のまま持つことなど想像もできませんでした。

手袋を作るのとほぼ同時に、私は独自の SlimeVR フルボディ トラッカーを作成しました。手袋と同様に、5 つのセンサーを作成し、足首、太もも、腰に結び付けました (SlimeVR ソフトウェアでは上肢がモデル化されないため)。 5つのセンサーは、まずTポーズリセットを通じて絶対位置を識別し、次に「互い」を通じて相対位置を識別し、電気信号を仮想人物の動きとして分析しました。このグローブ（ハンドル）とヘッドディスプレイがあれば、「昔の2Dファン」もVRChatで楽しく踊れます。

SlimeVR もコードをオープンソース化しました | SlimeVRからの画像

数か月前、私が作成したビデオをオンラインに投稿したところ、偶然に多くのフォロワーを獲得しました。もちろん、これが私を最も興奮させるものではありません。 「SlimeVR Full Body Tracker」の動画が公開されてから2か月後、その最も重要なコンポーネントであるBNO-080（9軸センサーモジュール）の価格がタオバオで90元から300元に上昇した。 (これまで、SlimeVR フルボディ トラッカーの作り方を教えてくれたのは誰もいなかったので、これは私が古い ACG ファンの愛を刺激しているだけだと思ってください。)

センサーモジュール |著者提供の写真

もちろん、私が受け取ったものはすべて「褒め言葉」ではありませんでした。蒸れの問題を解決するために、小型ファンを搭載できるモデルを3Dプリントし、ヘッドセットに接続しました。

自家製 VR ヘッドセットファン |著者提供の写真

しかし今回は、使用したファンが安物すぎたため、私の解決策は「空港みたい」と騒音が大きすぎると嘲笑されました。

著者: ルル・ミクル

編集者：沈志涵

この記事はGuokrからのものであり、許可なく複製することはできません。

必要な場合は[email protected]までご連絡ください。