Виртуальные клавиатуры для VR превращают любую поверхность в рабочее пространство

Сверхлегкая альтернатива

Бумажный кораблик Creative / Getty Images

Лучшая клавиатура для набора текста в виртуальной реальности (VR) может оказаться той, которой на самом деле нет.

Генеральный директор Meta Марк Цукерберг недавно опубликовал видео, на котором он пробует виртуальную клавиатуру в гарнитуре Quest 2. Эксперты говорят, что такие клавиатуры могут стать будущим продуктивности в виртуальной реальности.

«Следующая эволюция виртуальных клавиатур будет использовать надежную технологию отслеживания рук, чтобы точно отслеживать движения всех пальцев пользователя», — сказал Lifewire в интервью по электронной почте DJ Smith, главный креативный директор компании смешанной реальности The Glimpse Group. «До недавнего времени неточности отслеживания рук не позволяли пользователю сделать это; однако текущие достижения в области искусственного интеллекта и машинного зрения быстро делают этот тип виртуального набора текста жизнеспособным».

Цукерберг утверждает, что он достиг скорости примерно 100 слов в минуту, используя виртуальную клавиатуру, а технический директор Meta Эндрю Босворт сообщает, что достиг скорости 119 слов в минуту.

Их процесс набора текста, похоже, является исследовательским проектом Meta, который продвигает новейшие достижения в области клавиатуры для виртуальной реальности. Что бросается в глаза, так это отсутствие каких-либо аппаратных аксессуаров, таких как браслеты, которые могли бы фиксировать движения пальцев.

В настоящее время разработчики могут создавать виртуальные клавиатуры, прикрепленные к поверхности в Quest, используя отслеживание рук и требуя от пользователей касаться поверхности для калибровки. Однако на практике даже незначительное несоответствие высоты между виртуальной и реальной поверхностями может привести к непреднамеренному нажатию клавиш.

«До сих пор виртуальные клавиатуры использовались в качестве основного устройства ввода текста в виртуальной реальности; однако набор текста был медленным, поскольку у пользователя не было возможности естественно печатать всеми пальцами», — сказал Смит. «Создание более эффективной работы с клавиатурой является жизненно важным компонентом в обеспечении жизнеспособности сценария продуктивного использования».

В настоящее время пользователи могут «создать» виртуальную клавиатуру в своей виртуальной реальности и либо выбирать каждую букву с помощью одной лазерной указки виртуальной реальности, либо использовать «метод охоты и клевания», используя один палец на каждой виртуальной руке, сказал Смит.

Текущие достижения в области искусственного интеллекта и машинного зрения быстро делают этот тип виртуального набора текста жизнеспособным.

«Обе эти системы сложны в использовании и имеют очень низкую скорость ввода», — добавил он. «У пользователя VR также есть возможность приобрести конкретный тип физической клавиатуры, которая подключается к среде VR. В этом случае пользователь может видеть цифрового двойника своей физической клавиатуры в среде VR и нормально печатать на сопряженной К сожалению, эта система набора текста не получила широкого распространения, поскольку у большинства пользователей виртуальной реальности нет конкретного типа клавиатуры, которая могла бы работать в паре со средой виртуальной реальности».

Виртуальные клавиатуры могут быть даже уязвимы для хакеров. Команда экспертов по компьютерным наукам из Калифорнийского университета в Риверсайде доказала, что шпионское ПО может отслеживать и фиксировать движения человека. Алгоритмы искусственного интеллекта затем могут интерпретировать эти данные в слова с точностью 90 процентов и выше. Например, шпионское ПО потенциально может записать этот пароль, если вы приостановите сеанс виртуальной игры, чтобы получить доступ к сообщениям Facebook, «введя» свой пароль на виртуальной клавиатуре, отображаемой гарнитурой.

«По сути, мы показываем, что если вы запускаете несколько приложений, и одно из них является вредоносным, оно может шпионить за другими приложениями», — сказал Абу-Газале в пресс-релизе. «Он может шпионить за окружающей средой вокруг вас, например, показывая людей вокруг вас и то, насколько далеко они находятся. А также он может раскрыть злоумышленнику ваше взаимодействие с гарнитурой».

Shutter_m / Getty Images

Одним из будущих вариантов виртуальных клавиатур может стать использование глаз для набора текста. Система будет просматривать каждую клавишу, а затем нажимать на контроллер или ждать заранее определенного момента, пока система выберет эту клавишу, сообщил в электронном письме Джейсон Йим, генеральный директор компании Trigger XR, занимающейся смешанной реальностью. Но так называемое «отслеживание взгляда» непросто использовать.