Дополненная реальность

Дополненная реальность — воспринимаемая смешанная реальность, создаваемая с помощью компьютера с использованием «дополненных» элементов воспринимаемой реальности, когда реальные объекты монтируются в поле восприятия.

Среди наиболее распространенных примеров дополнения воспринимаемой реальности — параллельная лицевой цветная линия, показывающая нахождение ближайшего полевого игрока к воротам при телевизионном показе футбольных матчей, стрелки с указанием расстояния от места штрафного удара до ворот, «нарисованная» траектория полета шайбы во время хоккейного матча, смешение реальных и вымышленных объектов в кинофильмах и компьютерных или гаджетных играх и т. п.

Предположительно, термин «дополненная реальность» был предложен исследователем корпорации Boeing Томом Коделом (англ. Tom Caudell) в 1990 году[2]. Том Кодел употреблял термин, описывая цифровые дисплеи, которые использовались при постройке самолётов. Сборщики носили с собой портативные компьютеры, могли видеть чертежи и инструкции с помощью шлемов, имеющих полупрозрачные дисплейные панели[3]

Существует несколько определений дополненной реальности: исследователь Рональд Азума (англ. Ronald Azuma) в 1997 году определил её как систему, которая[4]:

1. совмещает виртуальное и реальное;
2. взаимодействует в реальном времени;
3. работает в 3D.

В 1994 году Пол Милгром (англ. Paul Milgram) и Фумио Кисино (англ. Fumio Kishino) описали континуум «виртуальность-реальность» (англ. Milgram's Reality-Virtuality Continuum)[5] — пространство между реальностью и виртуальностью, между которыми расположены дополненная реальность (ближе к реальности) и дополненная виртуальность (ближе к виртуальности). Дополненная реальность — результат добавления к воспринимаемым как элементы реального мира мнимых объектов, обычно в качестве вспомогательной информации.

Иногда в качестве синонимов используют термины «расширенная реальность», «улучшенная реальность», «обогащённая реальность», «увеличенная реальность». Такое использование названных терминов в общем случае неправильно, — термины «расширенная реальность», «увеличенная реальность», «обогащённая реальность» применимы лишь для обозначения определённых форм и аспектов практического применения дополненной реальности, тогда как применимость термина «улучшенная реальность» вовсе сомнительна.

1. Привязка к маркеру — механика, при которой объект в дополненной реальности появляется при наведении камеры на физический оригинал. Контент дополненной реальности запускается, когда в поле зрения камеры появляется определённый триггер. Маркером могут являться: изображения, логотипы, фотографии, звуки.
2. Привязка к плоскости — механика, при которой объект в дополненной реальности появляется в пространстве, привязанный к определённой точке, выбранной устройством в результате сканирования. Распознаются как горизонтальные, так и вертикальные плоскости. Такая механика применяется, когда нет необходимости держать маркер в поле зрения устройства.
3. Привязка к геолокации — механика, при которой объект в дополненной реальности появляется в определенной точке города. Маркером в таком случае является геолокация — координаты.
4. Порталы — механика, при которой в дополненной реальности появляется пространство в режиме 360°. Пространством может служить фото-, видео-материалы, а также отрисованные в графике.
5. Взаимодействие с физическим объектом — механика, при которой на физическом оригинале появляются дополнительные элементы в дополненной реальности. Триггер в такой механике — физический объект. Для этого создается цифровая копия физического объекта в 3D пространстве.
6. Интеграция реалистичных персонажей — механика, при которой реальный объект помещён в дополненную реальность. Такого эффекта можно достичь несколькими способами: • 2D видео — реальный объект снимают на хромакее с ракурса человеческого роста, в графическом редакторе удаляется фон и изображение помещается в AR-среду под прямым углом к зрителю. При попытке зрителя обойти объект, он поворачивается к зрителю одной и той же стороной, сохраняя иллюзию объёма. • 4D съёмка — студийная съёмка с использованием набора специальных камер, захватывающих объект в движении. В результате съёмки получается реалистичная анимированная 3D-модель, готовая для интеграции в AR-среду.
7. Расширенный функционал — механика, которая позволяет добавить интерактив. Возможности: запуск анимации по нажатию, ведение диалога с персонажем, переход на сторонние веб-ресурсы и т.д.
8. Мультиплеер — режим совместной деятельности нескольких устройств. Используется в играх, квестах, массовых презентаций и совместной работы дизайнеров и инженеров.
9. Web AR — просмотр AR-контента в интернет пространстве. Существует два вида: • Просмотр в браузере • Загрузка приложения напрямую на устройство

• Распознавание объектов в реальном времени. Используется совмещение технологий AR и ML для помощи слабовидящим и слепым людям. При наведении смартфона на объект, приложение определяет его и воспроизводит название в звуке.
• 6D ai-окклюзия. Технология построения сетки окружающего пространства, в которой работают не только плоскости, но и глубинная карта окружения, благодаря который объекты в дополненной реальности могут вести себя относительно положения реальных объектов.
• Реалистичное 3D-сканирование.

«Как и у любой технологии, у AR и VR есть обратная сторона: пока их довольно тяжело использовать. От ношения AR-очков за целый день очень устают глаза, особенно это было заметно в ранних версиях устройств; кроме того человеку поступает значительно больше информации. Но в будущем люди к этому адаптируются — параллельно с развитием технологий», — говорит[6] футуролог Роберт Скоубл. Другая проблема современной дополненной реальности — неудобство в использовании AR-очков из-за их громоздкого размера, а также высокая цена таких устройств. Очки же для широкой аудитории, которые дешевле и больше распространены (например, Google Glass) — маломощны, поэтому не могут выполнять множество функций[7]. Подробнее с этим можно ознакомиться в данной статье [8].

Первые приёмы дополненной реальности, не получив тогда такого наименования, нашли широкое применение в фантастической литературе и связанном с ней изобразительном искусстве в жанре альтернативная история, а также в продукции телевидения и кинофильмах, где смешаны и взаимодействуют реальные объекты и персонажи с таковыми же, созданными мультипликацией и компьютерной графикой.[9]

Существует множество программных продуктов для мобильных устройств, которые позволяют при помощи дополненной реальности получить необходимые сведения об окружении: браузеры дополненной реальности[10] и специализированные программы для отдельных сервисов, компаний или даже единственных моделей. Само распространение дополненной реальности и нарастающая известность технологии среди потребителей связаны с тем, что вычислительная мощность и набор датчиков в аппаратных платформах для смартфонов и планшетов-компьютеров позволяют производить наложение любых цифровых данных на получаемое в реальном времени со встроенных в устройства камер изображение. Часть решений в этой области воплощается в виде нательных компьютеров (в том числе в качестве элементов умной одежды) для постоянного контакта со средой дополненной реальности.

Корпорация Google работает над гарнитурой Project Glass (одна из первых попыток вывести дополненную реальность в потребительский сектор, 2013 год, заморожена разработка в 2015 году. Параллельно шла разработка платформы для дополненной реальности Tango, выпущена в 2016 году[1]), а Vuzix — над Smart Glasses M100. Microsoft в 2016 году выпустила Hololens для бизнеса и профессионалов. В июне 2017 года Apple анонсировала платформу ARKit[1]. Аналогичные разработки ведут другие крупные компании, включая Canon с AR-очками для профессиональных дизайнеров MREAL[11], а также многие начинающие компании.

В современных лапароскопических операциях изображение на эндоскопе дополняется изображением, полученным во время интраоперативной ангиографии. Это позволяет хирургу точно знать, где находится опухоль внутри органа, и таким образом минимизировать потери здоровой ткани органа пациента во время операции по удалению опухоли[12].

Дисплей экспериментального космического аппарата X-38 с отметками, указывающими на характеристики посадочной площадки

В современных боевых самолетах и вертолетах часто используется индикация на лобовом стекле или на шлеме пилота. Она позволяет пилоту получать наиболее важную информацию прямо на фоне наблюдаемой им обстановки, не отвлекаясь на основную приборную панель[13]. Это позволяет, например, сэкономить драгоценные секунды во время маневренного воздушного боя. Многие подобные системы позволяют осуществлять целеуказание путём поворота головы или движения глазных яблок.

Система дополненной реальности солдата ARC4(США)

Широкое распространение получают и тактические системы дополненной реальности для экипажей боевых машин, танков, солдат, действующих в пешем порядке. Примером такого рода является американская нашлемная система ARC4. В перспективе для синтеза соответствующих символов дополненной реальности будут использоваться технологии искусственного интеллекта, что позволит оперативно маркировать цели, обеспечивая эффективное целеуказание, координацию и бесконфликтность совместного ведения огня[14].

Технология дополненной реальности является мощным инструментом оптимизации 3D-топологии хранилищ боеприпасов на местности с выбором совокупности боеприпасов в стеках и расстояний между ними на основе динамической визуализации зон рисков. Распространение информации о таких зонах позволит выбирать безопасные места дислокации и наименее рискованные маршруты передвижения подразделений в условиях угрозы взрыва хранилищ. Кроме того, на очках AR или соответствующих дисплеях могут отображаться сведения о состоянии и предыстории эксплуатации конкретных боеприпасов перед их отправкой в подразделения[15].

Существуют компьютерные игры, производящие обработку видеосигнала с камеры и накладывающие на изображение окружающего мира дополнительные элементы. Например, в 2004 году была выпущена игра для мобильных телефонов с названием Mosquitos, представлявшая собой обычный видео режим камеры, но с наложенными поверх, прицелом и комарами, растущими в размерах, от которых «отстреливался» игрок. Комары генерировались на большой площади, выходящей за пределы обзора камеры, поэтому нужно было встать в комнате, и крутить телефон вокруг себя, чтобы "отыскать" комаров. [16].

В современном мире игры дополненной реальности получили широкое распространение на гаджетах, а также на игровых консолях. К середине 2016 года получила широчайшее распространение по миру и серьёзный общественный резонанс гаджетовая глобальная многопользовательская игра Pokémon Go[1] для интерактивной ловли покемонов в виртуально дополненном реальном мире — на реальных объектах по всей территории планеты. Американец Абхишек Сингх (англ. Abhishek Singh) перенёс в дополненную реальность целый уровень из Super Mario Bros. Также разработчики перенесли Minecraft в дополненную реальность[1].

Дополненная реальность активно используется в печатной продукции благодаря распространению так называемых браузеров дополненной реальности[10] — в частности, Wikitude, JuliviAR, Layar, blippAR, ViliPhoto и других. В газеты, буклеты, проспекты, журналы и даже географические карты[17] помещаются изображения, служащие метками для последующей визуализации цифровых объектов. В роли дополняющей информации может выступать текст, изображения, видео, звук или трёхмерные объекты[18], статичные или анимированные — фактически, абсолютно любые цифровые данные. С помощью специальных программ-браузеров, установленных на планшеты и смартфоны, пользователи сканируют метки, получая доступ к дополнительному контенту.

В периодике дополненная реальность чаще всего используется для визуализации рекламы, в качестве привлекающего внимание аудитории маркетингового инструмента. Однако встречаются проекты, направленные на решение социальных задач: показательным примером здесь выступает инициатива японской газеты Tokyo Shimbun, тексты которой при помощи мобильных устройств адаптируются для детского восприятия, что направлено на создание общего информационного поля у детей и их родителей и укрепление связей в семье[19].

Анимированная дополненная реальность получила распространение в дошкольной обучающей литературе.

В качестве меток дополненной реальности могут использоваться штрих-коды, QR-коды, метки RFID[20].

Так же дополненная реальность не обошла и тему образования[21].

Приложений, для создания так называемого green screen без green screen - выделение контура человека и его отделение от фото, созданных с помощью различных технологий, на рынке уже немало. Отделение контура человека от изображения позволяет подставлять новый фон, что может быть полезно для видеозвонков или создания более ярких и красочных изображений. Разработчики приложений вроде Prisma или Paper Artist также опираются на похожие технологии и используют нейронные сети, которые работают прямо на мобильном устройстве.