Віртуальна та доповнена реальність – це повний цифровий досвід. Але коли справа доходить до перетворення реальних рухів рук у віртуальні дії, більшість контролерів досить незграбні, щоб зламати ілюзію. Ось чому ізраїльська компанія Wearable Devices намагається повністю усунути потребу в контролерах разом зі своїм Mudra Inspire, новим браслетом, який перетворює жести рук і натиск пальців у дії у світах VR та AR. Я випробував це на собі — його точність і чуйність пояснюють, чому компанія вважає, що може виключити використання контролерів VR.
Технічні характеристики Mudra Inspire
Датчики
3x SNC
IMU (інерціальний вимірювальний блок) і гіроскоп
6 DOF
Підключення
Bluetooth 5.0
батарея
Літій-іонний 3,7 В, 80 мАг
Потужність
Заряджається через кабель micro-usb (входить в комплект)
СВІТЛОДІОДНИЙ
Єдиний індикатор, кольори та спалахи
Вимоги до платформи
Android 6.0 і вище з BLE 4.0 і вище
Розміри (Д х Ш х Г)
2,3 x 1,1 x 0,6 дюйма (59,5 x 27 x 16 мм) Максимальна довжина ремінця: 10,2 дюйма / 260 мм
Вага
0,05 фунта / 24,5 г
Ціна
246,50 доларів США
Руки на
Ви скептично ставитеся до того, що щось, закріплене на вашому зап’ясті, справді може прочитати жести ваших рук? Я теж був. Але після того, як побачив Mudra Inspire у дії на моєму зап’ясті та генерального директора та співзасновника Wearable Devices Ашера Дахана, я був вражений тим, наскільки це було синхронно. Усі програми, які я відчував, були підтвердженими концепцією (PoC), тому що ще не було доступних споживчих додатків, але всі вони імітували дії, які використовуються в реальних іграх, і працювали майже бездоганно.
Я не завершив повний процес калібрування, оскільки це займе кілька хвилин, але здається досить простим. У додатку Mudra, завантаженому на пристрій для створення пари (у даному випадку на смартфон Android), ви щільно застібаєте ремінець. Потім ви можете перевірити чутливість пристрою, коли ви рухаєте пальцями. Додаток для калібрування відображає хвилясту лінію, як монітор серця, яка піднімається на різну висоту залежно від дій ваших пальців.
Mudra Inspire також може визначити, який тиск пальцем ви застосовуєте. Калібрування відбувається шляхом стиснення вказівного або середнього пальців і великого пальця, щоб заповнити трубку програми кольором. Чим сильніше ви стискаєте, тим більше наповнюється трубка. Хоча я зробив і пальцеве калібрування, згадане вище, і це калібрування тиску, я не зробив цього протягом усього часу, необхідного для повного калібрування.
В одній грі, в яку грали на телефоні Android і виводили на телевізор, я спостерігав, як курсор рухається точно разом з Даханом, коли він рухав рукою ліворуч, щоб отримати доступ до стовпа в грі, наповненої пластиковими пончиками. Коли він опустив руку, курсор також опустився. Стиснення його вказівного і великого пальців змусило віртуального Дахана підняти пончик. Зберігаючи це стискання, він перемістив руку вправо, щоб його курсор міг досягти жердини в правій частині ігрового дисплея. Його віртуальна рука одночасно перемістилася і кинула пончик на новий стовп, коли Дахан зняв тиск між вказівним і великим пальцями.
Mudra Inspire також може працювати навколо осі z. Дахан взяв коробку у віртуальній реальності, як у прикладі з пончиком вище, і сильніше стиснув вказівний і великий палець, щоб наблизити його до екрана, а потім упустив, відпустивши вказівник і великий палець.
Цей пристрій для носіння також забезпечує чудовий контроль. Демонстрація, схожа на MS Paint, показала, що Mudra Inspire можна використовувати для дуже конкретного введення даних, оскільки Дахан практично намалював обличчя аерографом, яке виглядало так само добре, як і все, що я зробив у Paint за допомогою миші. Він наклав віртуальну фарбу на полотно екрану, тримаючи вказівний і великий великий палець разом — більший тиск дорівнював товстішим лініям — і рухаючи зап’ястям. Перемикання кольорів було таким простим, як переміщення курсору в нижню частину екрана та натискання вказівним пальцем.
Щоб перевірити здатність Mudra Inspire точно зчитувати тиск пальців, я переглянув AR-підставки через телефон Android. Додаток компанії PoC показував, що вогонь виривається з каботажного судна, якщо я стиснув вказівник і великий палець разом.
Більший тиск означало високе полум’я, і вогонь не припинявся, доки я не перестав стискати пальці. Тут Mudra Inspire трохи гикав, і все ще думав, що я чинив невеликий тиск, коли моя рука була в спокої. Однак, як зазначалося, я не проводив повне калібрування. Я бачив, що він дуже добре працює з повністю відкаліброваним діапазоном Дахана, тому я вважаю, що він міг би працювати краще для мене, якби я витратив більше часу на калібрування.
Як працює браслет VR/AR?
Mudra Inspire — це пристрій розміром із гумовою гумкою, який надівається на браслет (входить у комплект) або на ремінець на ваш вибір. Наразі він продається розробникам за 246,50 дол. США, за який ви отримуєте один Mudra Inspire, ремінець з логотипом Mudra, кабель micro-USB для підключення та заряджання та посібник користувача. Wearable Devices випустить Mudra Inspire для широкої публіки, коли з’являться програми та ігри, які його підтримують, що очікується до середини 2019 року. На цьому етапі ціна повинна значно знизитися.
Mudra Inspire використовує три запатентовані датчики поверхневої нервової провідності (SNC), а також електроди для зчитування біометричних сигналів з ліктьового, серединного і променевого нервових пучків на зап’ясті. Потім пристрій виконує цифрові обчислення та надсилає їх на допоміжний пристрій у режимі реального часу через Bluetooth. Далі цей парний пристрій запускає алгоритми нейронної мережі з програмним забезпеченням TensorFlow з відкритим кодом: один для виявлення сигналу (рухи/рухи пальців), а другий для класифікації руху як віртуальну дію.
Таким чином, ваші руки стають контролером, а пальці — кнопкою. Після калібрування ви можете призначити різні функції, такі як прокрутка, гортання, вибір, запуск, перетягування, обертання та перевертання, для різних жестів рук, пальців і рук. А зі штучним інтелектом Mudra Inspire стає більш точним із більшим використанням — до 99,9 відсотків, стверджує Wearable Devices.
Зараз ви можете носити лише один Mudra Inspire, але мені сказали, що компанія працює над підтримкою двох пристроїв у майбутньому, щоб перенести рухи ваших рук у світ VR та AR.
Немає програм…поки що
Наразі немає програм, доступних для широкої публіки, які підтримують Mudra Inspire. Однак у носимого пристрою вже є кілька ключових партнерів з розробки, які працюють над сценаріями використання HTC Vive, HoloLens, Google Cardboard VR Viewer, гарнітури META 2 AR, телефонів Android і розумних годинників Android Wear OS.
Очікується, що Mudra Inspire отримає підтримку Windows до кінця 2018 року і підтримку iOS на початку 2019 року. Майбутні партнери-розробники вказані як Oculus, платформи розробки Daydream VR і ARCore AR від Google, PlayStation VR, Magic Leap, Nintendo і Apple TV. , хоча дати розробки публічно не оголошуються.
Це краще, ніж контролер?
У ентузіастів є своя частка претензій до сучасних контролерів віртуальної реальності, що є частиною того, чому Wearable Devices може мати удар по руках… або зап’ястя від Mudra Inspire. І здається, що Mudra Inspire обходить деякі серйозні проблеми з більш традиційними контролерами.
Однією з перешкод для контролерів є обмеження FOV, а у Mudra Inspire їх немає. Деякі контролери не мають ергономічного дизайну і виглядають незграбними. Є скарги на недостатню інтуїтивність розташування кнопок контролерів Vive, так як можна легко випадково натиснути пальцем кнопку меню Steam.
Тим часом контролери Oculus Touch не мають акумуляторної батареї і можуть швидко спалювати батарейки типу АА. Нарешті, є те відчуття, що нагадує зап’ястний тунель, яке може виникнути, якщо стискати твердий шматок пластику годинами поспіль. У короткостроковій перспективі це може призвести до судом. У довгостроковій перспективі це дійсно може сприяти утворенню фактичного зап’ястного каналу.
Все, що сказано, чи буде браслет Wearable Devices «надихнути» нових клієнтів на підніжку XR? Не самостійно; Mudra Inspire стикається з тими ж перешкодами, що й інші продукти XR, як-от ціни, вимоги до обладнання та площі, вартість та відсутність масового впровадження.
Однак, якщо Mudra Inspire зможе отримати певну підтримку в популярних додатках, це може легко зацікавити шанувальників віртуальної реальності, які шукають більш інтуїтивно зрозуміле керування та реалістичність. І ми вже бачили, як швидко можуть завоювати популярність веселі програми AR; уявіть собі, яке захоплення може принести цей ненав’язливий переносний пристрій, особливо з розумними годинниками та смартфонами.
Але особливо для VR контролери є ключовими. Доторкнувшись до чогось фізичного, користувачі відчувають більш реалістичні відчуття, ніж, наприклад, удавати, що вказуєте і стріляєте пальцями. У певних ігрових сценаріях можна натиснути справжню кнопку. Контролери Leap Motion пропонують відстеження пальців і взаємодію лише за допомогою жестів, а контролери Knuckles 3-го покоління від Valve (наразі також доступні лише для розробників) дозволяють вводити без натискання кнопок. Але повністю відмовившись від портативних пристроїв, Mudra Inspire належить до окремої категорії контролерів.
Однак Wearable Devices вважає, що Mudra Inspire не стирає переваги утримання чогось, а навпаки, розширює можливості. Уявіть собі, що ви носите Mudra Inspire, тримаючи в руках водяний пістолет, щоб грати у шутер від першої особи VR; Тепер за допомогою вказівного пальця стисніть спусковий гачок іграшки і змусьте свого персонажа стріляти. Уявіть собі, що ви стискаєте пластину, щоб втілити кермо в гоночній грі.
Правда, пошук об’єктів, схожих на відеоігри, не дуже практичний. Деякі можуть віддати перевагу мати щось стандартне, щоб завжди тримати в руках, ніж мати справу з фіктивними об’єктами або взагалі нічого не тримати.
Звичайно, ми не дізнаємося про справжній потенціал Mudra Inspire, поки не з’являться нативні програми. Але з надійним апаратним забезпеченням цей контролер діапазону XR вже має довгий шлях до того, щоб змінити VR та AR і зробити нашу віртуальну та доповнену реальність набагато інтуїтивнішою для взаємодії.
