VR 用の仮想キーボードであらゆる表面をワークスペースに

超軽量の代替品

紙の船クリエイティブ/ゲッティイメージズ

仮想現実 (VR) での入力に最適なキーボードは、実際には存在しないキーボードであることが判明する可能性があります。

Meta CEOのMark Zuckerberg氏は最近、Quest 2ヘッドセットで仮想キーボードを試している自身のビデオを投稿した。専門家らは、こうしたキーボードがVRにおける生産性の未来となる可能性があると述べている。

「仮想キーボードの次の進化では、堅牢なハンドトラッキングテクノロジーを使用して、ユーザーのすべての指の動きを正確に追跡します」と、複合現実企業 The Glimpse Group の最高クリエイティブ責任者である DJ スミス氏は電子メールインタビューで Lifewire に語った。「最近まで、ハンドトラッキングの不正確さのため、ユーザーはこれを行うことができませんでした。しかし、AI とマシンビジョンの現在の進歩により、このタイプの仮想タイピングが急速に実現可能になりつつあります。」

ザッカーバーグ氏は、仮想キーボードを使用して 1 分あたり約 100 ワードの速度を達成したと述べていますが、Meta CTO のアンドリュー・ボスワース氏は 1 分あたり 119 ワードを達成したと報告しています。

彼らのタイピングプロセスは、VR 用キーボードの最先端を進歩させる Meta による研究プロジェクトであるようです。際立っているのは、指の動きを捕捉するためのリストバンドなどのハードウェアアクセサリがまったくないことです。

現在、開発者は、ハンドトラッキングを使用して、ユーザーが調整のために表面をタップすることを要求することで、Quest 上の表面に固定された仮想キーボードを作成できます。ただし、実際には、仮想面と実際の面の高さにわずかな差があるだけでも、意図しないキーストロークが発生する可能性があります。

「これまで、VR 内のテキストの主な入力デバイスとして仮想キーボードが使用されてきましたが、ユーザーがすべての指で自然に入力する方法がなかったため、入力が遅かったのです」とスミス氏は言いました。「より効果的なキーボードエクスペリエンスを作成することは、生産性のユースケースを実現するために不可欠な要素です。」

現在、ユーザーは VR エクスペリエンス内で仮想キーボードを「スポーン」し、単一の VR レーザーポインターで各文字を選択するか、仮想の各手に 1 本の指を使用して「狩りつつつつく方法」を使用することができるとスミス氏は述べています。

AI とマシンビジョンの現在の進歩により、このタイプの仮想タイピングが急速に実用化されています。

「これらのシステムはどちらも使いにくく、入力速度が非常に遅いです」と彼は付け加えた。「VR ユーザーが VR 環境とペアリングする特定のタイプの物理キーボードを購入するオプションもあります。この場合、ユーザーは VR 環境内で物理キーボードのデジタルツインを確認し、ペアリングされたキーボードで通常どおり入力できます。残念ながら、ほとんどの VR ユーザーは VR 環境とペアリングできる特定のタイプのキーボードを所有していないため、この入力システムは広く使用されていません。」

仮想キーボードはハッカーに対して脆弱である可能性さえあります。カリフォルニア大学リバーサイド校のコンピュータサイエンスの専門家チームは、スパイウェアが人間の動きを監視し、捕捉できることを示しました。 AI アルゴリズムは、このデータを 90% 以上の精度で単語に解釈できます。たとえば、ヘッドセットに表示される仮想キーボードにパスワードを「エア入力」して Facebook メッセージにアクセスするために仮想ゲームセッションを一時停止した場合、スパイウェアがこのパスワードを記録する可能性があります。

「基本的に、複数のアプリケーションを実行し、そのうちの 1 つが悪意のあるものである場合、他のアプリケーションをスパイできる可能性があることを示しています」とアブ・ガザレー氏はニュースリリースで述べた。「たとえば、周囲の人々やその距離を表示するなど、周囲の環境を監視することができます。また、ヘッドセットとのやり取りを攻撃者に公開する可能性もあります。」

シャッター_m/ゲッティイメージズ

仮想キーボードの将来のオプションの 1 つは、目を使って入力することになる可能性があります。複合現実企業トリガー XR の CEO、ジェイソン・イム氏は電子メールで、システムは各キーを調べてコントローラーをクリックするか、システムがそのキーを選択するまで所定の瞬間を待つと述べた。しかし、いわゆる「視線追跡」は使いやすいものではありません。