Конструирование шлема виртуальной реальности.

[BDK]

Итак, показываю фотоотчет о том чего наварганил.

Сначала из пенопласта 3 см сделал такие детали:


Затем склеил их и получил такую штуку:


Так получил заготовку на которую спереди будет крепиться экран а сзади собственно часть с линзами и "намордником" - то есть та часть которая будет надеваться на морду. Извиняюсь - на лицо.

Теперь собственно "намордник". Для его изготовления я взял пластины из полистирола вот такого вида:

На надписи на этой пластине можно не обращать внимания - они не играют никакой конструктивной роли.

Далее я путем вырезания и склеивания (клей - дихлорэтан) получил из неё следующее:

Это внутренняя сторона (та которая смотрит на экран):


А это наружная сторона (та которая собственно прикладывается к лицу):


Здесь нужно обратить внимание на штырьки по бокам и пружинку в середине - таким образом я реализовал настройку межзрачкового расстояния под пользователя а так же подгонку положения каждой линзы - штука необходимая для получения наилучшего качества изображения и максимального комфорта для глаз.

Далее к этой пластине я приклеил вот такой обвес из пенопласта - для удобного прилегания "намордника" к лицу:




Получилось круто. Испытав эту маску я обнаружил что получился очень хороший угол обзора - лучше чем в Oculus Rift. Кроме того я обнаружил что маска удобно сидит на лице и не требуется прижимать её плотно к лицу чтобы получить широкий угол обзора - как это приходилось делать в Oculus Rift. Получилось это за счет того что в моей маске просто огромные линзы (диаметр 6 см каждая) поэтому необходимый угол обзора обеспечивается даже если линзы находятся на приличном расстоянии от глаз - они вообще не касаются лица - как это приходилось делать в Oculus Rift, когда я прижимал его к лицу так что линзы касались глаз - что весьма неприятно и долго в такой маске не посидишь - она жутко неудобна. Короче - моя маска получилась значительно комфортней при том что не уступает по оптическим характеристикам. Кроме того очковые линзы которые я купил оказались удивительно хорошего качества и при том совсем не дорогие - у них очень незначительные аберрации по сравнению с теми линзами что используются в Oculus Rift. Не понимаю какой смысл было в шлем стоимостью 700 баксов (на тот момент когда я его тестировал) жмотиться и вставлять дешевые низкокачественные линзык когда можно было всего на пару баксов дороже вставить более качественные. Ну да оставим это на совести разработчиков Oculus Rift. Мой шлем таким образом получается пока значительно лучше по характеристикам при затратах пока не вышедших за пределы 70 баксов (95% из которых составляет стоимость экрана и контроллера к нему).

Однако длительное испытание маски выявило кое какой недостаток - линзы запотевают.
Но этот недостаток я решил достаточно быстро и просто - проделав специальные вентиляционные шахты по бокам:



Решение оказалось настолько эффективным что запотевание полностью исчезло и кроме того в маске стало совсем не жарко - даже кожей лица чувствуешь легкий ветерок - значит идет достаточное проветривание пространства между маской и лицом. Чтобы через вентиляционные шахты не было видно окружающий мир по бокам я пока приспособил так ширмочки из изоленты, а позже приклею черные пластины и саму маску изнутри выкрашу в чёрный цвет - чтобы минимизировать попадание света из окружающего мира внутрь маски. Хотя и в таком виде как есть изоляция от окружающего мира полная - по бокам сверху и снизу отсутствуют даже малейшие щели и окружающего мира совсем не видно - если в виртуальном мире будет темно а в окружающем мире будет ясный день - можешь даже не заподозрить что в реальном мире сейчас день

На этом пока всё. Дальше последует собственно присоединение экрана и сборка всей конструкции в целом. Но я сейчас нахожусь в другом городе а экран остался дома, поэтому продолжить смогу только после выходных.

[BDK]

В общем - всё получилось. Фотки выложу позже.
Первые впечатления - круто! Правда пока без отслеживания головы. И еще один минус - шлем получился тяжеловат (на весах пока не взвешивал - сделаю позже). Ощутимо давит на переносицу, хотя сама картинка увлекает настолько что постепенно перестаешь замечать некоторый дискомфорт от веса шлёма. Еще попробую оптимизировать прилегающую к лицу конфигурацию чтобы более равномерно распределить давления на лицо. Но как по мне - всё это мелочи с которыми лично я могу мириться.

Удалось запустить в шлеме игры а так же сделать просмотр фильмов. Для этого я написал две маленьких программки - одна захватывает изображение из окна игры - игра должна быть запущена в оконном режиме. А вторая воспризводит видеоролики средствами DirectShow. В общем получилось успешно - можно играть в любые игры - во все старые и новые. Еще не пробовал игры для Oculus. Ролики так же можно смотреть любые - как 3D так и обычные. Для обычных моя программка раздваивает картинку на два глаза так что создается впечатление как буд-то сидишь в кинотеатре перед гигантским экраном. Вообще просмотр кино в таком режиме - просто ПОТРЯСАЮЩЕ. Самый паршивый фильмец в таком режиме приобретает красоту и притягательность - огромный угол обзора буквально погружает тебя в сцену происходящего. Фильмы смотрятся совсем по другому. На обычном экране смотреть фильмы больше не хочу. Кроме того программа позволяет настроить угол обзора так чтобы угол с которым снято видео совпал с реальным - кроче размеры и пропорции всей обстановки и предметов приобретают наиболее точный и естественный вид - как если бы смотрел на обстановку в видео своими глазами а не на экране. В общем эффект присутствия потрясающий. Причем я обнаружил что наличие 3D не добавляет особых плюсов к эффекту присутсвия. Основное и самое главное для эффекта присутствия - это именно широкий угол обзора. Короче говоря и 3D и обычные фильмы смотрятся в шлеме одинаково круто.

Насчет игр - опробовал Alien isolation,Far cry, HL2, Return to castle Wolfenstein (старая игрушка если кто помнит), Splinter cell (тоже из старых), и др. Все игрушки с моей программкой идут в шлеме без проблем. Впечатления от игр - ПРОСТО СУПЕР! И это даже еще без отслеживания головы. Ощущение такое как буд-то реально находишься внутри этих комнат, подземелий или на огромных ландшафтах. Особенно меня впечатлило нахождение в старинном замке (Return to castle Wolfenstein), а в подземельях реально было жутко. Хотя игрушка старая и графика примитивная по нинешним меркам - но в шлеме она преображается, эффект присутствия просто потрясающий - идеш по огромному залы и видишь боковым зрением проплывающие мимо статуи и колонны а сверху массивный потолок с полукруглыми сводами. Короче что говорить - словами не передать.
=====

Следующий этап - хочу реализовать отслеживание головы. Сразу скажу что использовать FreeTrack не хочу т.к. он мне очень и очень не нравится. Хочу сделать собственное отслеживание головы. Захват картинки с веб-ка меры средствами DirectShow у меня есть, дело за "малым" - распознавание меток. Но это "малое" я в общем знаю как делать. Камеру кстати я хочу расположить не впереди а сверху - над головой. Так будет выше точность отслеживания именно поворотов головы.

[Андрей]

Большое спасибо за подробный фотоотчёт (только что увидел фотки), и понятное изложение материала.

Могу поздравить с качественным выполнением первого этапа работы.

[BDK]

Да, я хотел именно подойти к делу качественно и с продуманной теоретической частью а не просто наспех склеить какую нибудь картонку. Ну в общем в целом всё получилось очень неплохо кроме единственного фактора - вес. Всё таки 10.1 дюймовый экран как ни крути тянет за собой все увеличенные габариты а за ними и вес. Причем половину веса весит конструкция из пенопласта, хотя я надеялся что пенопласт сильно не завесит. Сам экран совсем не тяжел. Контроллер к нему тоже. Но всё в сумме неумолимо складывается в ощутимый вес. Поэтому подумываю о том как облегчить конструкцию - возможно контроллер вынесу за пределы шлема - возможно он будет крепиться отдельно на голове (главное чтобы не навешивать его на лицо, а на голову сверху можно ложить большой вес - он не создаёт никакого дискомфорта). В общем буду оптимизировать. Но в целом проверил практически что неплохой шлем ВР за примерно 70 у.е. - это реальность.

[BDK]

И еще - я выяснил что регулировка линз - бесполезнейшая вещь. Гораздо удобней межзрачковое расстояние регулировать программно, а линзы можно закрепить неподвижно. Так что с пружиной и штырьками по бокам чтобы двигать линзы я перемудрил - это всё я удалю как лишнее и не нужное, тем самым упростив конструкцию и сделав её надежней.

Теперь выложу еще фотки.

Вот тот самый 10.1 дюймовый дисплей.


ЖК матрица вставлена в пластиковое обрамление там же расположен контроллер, сзади всё закрыто пластиковой крышкой которая является вырезанной частью из корпуса неисправного принтера, получилось вполне эргономично и компактно. На фото виден разъем HDMI, через который контроллер собственно и подключается к компьютеру. А так же там есть разъем на наушники - по HDMI так же передаётся и звук.



Вот полностью склеенная конструкция с линзами, рядом лежит дисплей - он легко вставляется в конструкцию и вынимается и может использоваться отдельно.





Вот на экране запущена моя программка проигрывающая видео в режиме для шлема ВР (фильм "Alien").


Вот всё в сборе с экраном.


Изображение через линзы. К сожалению на фото невозможно показать то что видно глазами когда шлем надет.


Вот мой сын играет в шлеме в Minecraft (на телевизоре рядом видно кусочек окна игры).

[BDK]

Получилось круто. Испытал в играх.

Это мне удалось сделать благодаря очень быстрой переброске картинки с основного экрана компьютера в мою программку которая уже генерит картинку для шлема - в результате чего практически без заметных задержек и потери частоты кадров в мой шлем можно передавать изображение из любой программы которая отображается на основновном экране. А уже будучи быстро переданной в мою программку картинка может очень быстро (на ресурсах GPU) быть преобразована любым образом - раздвоена для вывода в левый и правый глаз, исправлены аберрации линз и т.п. Все эти преобразования практически не добавляют к времени кадра, то есть выполняются во много раз быстрей чем собственно переброска картинки с основного экрана в мою программку. В общем если поставить мой экран рядом с основным то изображения движутся практически синхронно - задача совместимости моего шлема с любыми старыми 3D программами и играми решена. А вот Oculus такого не умеет.

Конечно пришлось долго танцевать с бубном. Узучил кучу разделов программирования в винде. Изучил стандартный виндосовский блиттинг, изучил древний DirectDraw, изучил более новый Direct3D. Кучу всего перечитал, перепробовал, переэкспериментировал пока нашел нужную комбинацию элементов. В итоге скрестил виндосовский блиттинг и Direct3D - смог блиттить экран напрямую в Direct3D текстуру, максимально быстро насколько это вообще возможно, с полным аппаратным ускорением. В общем когда играешь в игру - задержек не заметно, картинка движется вполне плавно - значит частота кадров достаточная. Получилось успешно. Я ведь больше всего опасался что не получится использовать мой шлем ни с какими программами кроме моих собственных. Но оказалось что эта проблема успешно решается.

И да - маленькое уточнение - конечно моя программка не делает стерео из обычной картинки. Она просто нужным образом раздваивает картинку на два глаза чтобы она могла быть правильно отображена в шлеме. В результате конечно же стереоэффекта нет. Если его нет в игре. Можно конечно дополнительно использовать драйвер TriDef3D чтобы преобразовать обычную игру в стерео. Но он не со всеми играми работает. Да и я хочу сказать - в нём и нет особой неободимости - хоть в стерео хоть без него - это на самом деле не играет особой роли для эффекта погружения в виртуальную реальность в шлеме ВР. Основную и решающую роль играет только факт широкого угла обзора который дает шлем ВР. Плюс отслеживание головы. Вот это два основных и ключевых фактора (причем отслеживание головы значимо в меньшей мере чем широкий угол обзора) которые превращают просто 3D графику в виртуальную реальность с эффектом присутствия. А вот стерео или нет - это практически не играет особой роли.

Еще на степень эффекта присутствия очень влияет точная настройка некоторых параметров отображения. Во первых - нужно тщательно подобрать угол обзора с которым выводится картинка в игре. Этот угол обзора должен по возможности наиболее точно совпасть с тем реальным физическим углом обзора с которым картинка видна глазами в шлеме ВР. Если угол обзора в игре сделать больше то теряется эффект присутствия - изображение начинает выглядеть подобно тому как на обычном экране. Если угол обзора в игре сделать меньше то нарушается вообще естественность восприятия - изображение выглядит неестественно увеличенным, как буд-то бегаешь с подзорной трубой или биноклем на глазах:) В общем в своей программке я конечно сделал возможность соответствующих настроек но кроме того нужно чтобы игра позволяла настраивать её собственный угол обзора. Если правильно задать настройки игры и шлема - тогда эффект ВАУ! У меня было ощущение как буд-то я буквально оказался в виртуальном помещении игры - и это даже еще без отслеживания головы, только обзор мышкой. Ощущение экрана перед глазами растворилось а вместо этого появилось ощущение реального пространства в котором находишься. Короче - очень важно точно подобрать настройки чтобы получить максимальный эффект погружения. Конечно пользователю далёкому от пониманий теории будет сложновато добиться нужного эффекта, поэтому я сделал в программке возможность создания пресетов - предустановленных наборов параметров под каждую конкретную игру. Этими пресетами можно будет обмениваться как обычными файлами - и тогда можно будет просто скачать пресет настроенный специалистом под нужную игру и не париться с настройками. Ну это я на будущее - если кто-то еще будет работать с моей программкой и изготавливать для себя самодельные шлемы ВР. Да и самому тоже пользоваться пресетами удобно - один раз настроить под конкретную игру и больше не тратить на это время повторно при последующих запусках этой игры а выбирать уже готовый пресет. Впрочем и для не самодельных шлемов моя программка тоже вполне подойдет, чтобы на том же Oculus'е и ему подобных можно было играть во все старые игрушки.

[BDK]

Сделал исправление геометрических аберраций линз. Получилось отлично. Теперь картинка в шлеме ровная и без искажений.

В игрушки уже наигрался (в рамках программы тестирования изделия ) но конечно шлем я делал не для того чтобы только в игрушки играть. Я его делал в общем-то в основном для своей программы. Которую собственно теперь нужно продолжить когда шлем есть в наличии. Эта программа с одной стороны будет использовать шлем а с другой стороны при помощи неё же я доработаю функции шлема - а именно добавлю отслеживание головы.

Еще размышлял над вариантами конструций шлемов, над недостатками и преимуществами больших и маленьких дисплеев. Конечно 10.1 дюйма это большой дисплей. Он позволяет получить меньше аберраций - поскольку нужны более слабые линзы, позволяет реализовать более широкий угол обзора - за счет своей большей физической ширины. Правда при этом потеряется видимое разрешение при том же фактическом разрешении экрана - потому что это разрешение будет растянуто на бОльший угол. Кроме того конструкция с большим экраном получается тяжелей. В общем есть мысли сделать еще один шлем - уже на основе маленького экранчика. И потом сравнить их на практике.

[BDK]

Имел возможность сегодня протестировать китайский шлем в который вставляется смартфон. Говорю сразу - не покупайте подобное гвно потому что только испортите впечатление и подумаете что ВР это и есть такое гвно. На самом деле ВР это круто, но чтобы в полной мере это понять нужно посмотреть правильное ВР а не такое гвно.

Сразу скажу как отличить правильное ВР от гвна. Правильное ВР дает ШИРОКИЙ УГОЛ ОБЗОРА, Запомните и уясните это самое главное правило. ВР не бывает с узким углом обзора, если вам впаривают что-то с названием ВР а там узкий угол обзора - не верьте. Вас дурят. Вам впаривают не ВР а гвно.

Запомните - в правильном шлеме ВР вы должны видеть боковым зрением окружающие пространства. Вы не должны видеть перед собой маленький квадратик с изображением - вы должны видеть ВСЕМ полем своего зрения. Вот в этом и ТОЛЬКО в этом случае вы имеете дело с настоящим ВР. Всё остальное - гвно.
=====
Так вот - в этом китайском "Google cardboard" я увидел перед собой небольшой квадратик с изображением перд глазами. Ощущение как буд-то сидишь перед квадратным монитором. Разумеется ни о каком боковом зрении нет и речи. Эффект погружения отсутствует. Напрочь.
=====
Ну и напоследок хочу с удовлетворением отметить что мой шлем всё же ближе к правильному ВР Вполне сравним по зрительным впечатлениям с тем же Oculus Rift (его я беру за эталон).

[Андрей]

Какая цена на Oculus? Реально его купить сейчас?

[BDK]

Разработчики заявляли что он выйдет по цене не выше 300 долларов. Но реальная цена оказалась выше. Не знаю точно сколько он стоит сейчас. Я имел возможность тестировать версию для разработчиков - она не продавалась официально и ходила на чёрном рынке по цене 700 долларов. Один предприниматель у нас купил такую версию чтобы организовать атракцион. Ну и дал знакомому чтобы тот всё настроил, установил нужые программы, драйвера. А знакомый этот - мой друг. Вот у него в гостях я и протестировал этот девайс от души. И жены наши тоже:) Бесплатно.

По чём он сейчас не знаю. И где его можно купить. У нас пока нигде не видел в продаже. Раньше я был бы готов может быть и купить его за 300 баксов. Ну если очень очень отказать себе в каких-то других вещах - например не тратиться на бензин а ходить пешком в течение месяцев трёх. Но сейчас - я уже считаю что свой шлем мне лучше - во первых свой полностью для меня открыт - никакого закрытого ПО - я могу его программиро-вать и использовать как сам захочу, использовать с любыми играми и программами - Oculus же работает только со своим ПО. А по качеству графики и прочим потребительским характеристикам свой шлем я могу сделать не хуже и даже лучше. Притом меньшими затратами.

Например я задумал очередное усовершенствование - я решил сделать шлем ВР в полном смысле шлемом:) Для этого я взял мотоциклетный шлем В чём фишка? А в том что Oculus как и все остальные шлемы крепятся на голове 3-мя хлипкими ремешками. Во первых - давит на лицо. Во вторых при резких движениях сдвигается, сидит на лице не надежно. А вот мотоциклетный шлем совсем другое дело - проверенная годами эффективная конструкция, надежно сидит на голое, совсем не касается лица - весь вес сосредоточен на голове равномерно сверху, по бокам и сзади и не создает никакого дискомфорта. Это особенно актуально для моего большого экрана. Кроме того в мотоциклетный шлем можно встроить и наушники - получаем монолитную цельную конструкцию в которую всё включено - никаких лишних ремешков, никаких лишних проводов - очень удобно надевается, уверенно сидит на голове и комфортно ощущается.

Я могу себе позволить сделать такой эксклюзивный вариант. А вот появятся ли подобные варианты от Oculus или других фирм - очень сомневаюсь. Ведь чтобы удешевить конструкцию там экономят даже на мелочах и всё равно дорого получается. А вариант типа мотоциклетного шлема наверняка станет еще дороже. Поэтому такого варианта скорей всего на рынке не увидим. А самому для себя сделать - никаких проблем. Тем более что мотоциклетный шлем мне достался бесплатно - дядя отдал потому что ему больше не нужен.