Принцип создания дополненной реальности определяется техническими возможностями средств, с помощью которых она реализуется.
Средства создания дополненной реальности следующие:
- мобильные устройства (планшеты, сотовые телефоны);
- очки дополненной реальности;
- телевизор (или экран компьютера);
- игровой компьютер типа Kinect;
- средства для воспроизведения AR в открытом пространстве;
- специальные средства:
- разные тренажеры;
- медицинское оборудование.
Общая схема создания дополненной реальности во всех случаях такова: оптический сканер (камера) устройства считывает (снимает) изображение реального объекта; программное обеспечение устройства проводит идентификацию и анализ полученного изображения, выбирает или вычисляет соответствующее изображению видимое дополнение, объединяет реальное изображение с его дополнением и выводит итоговое изображение на устройство визуализации. Так получается дополненная реальность.
Рассмотрим, как создается дополненная реальность разными устройствами.
Мобильные устройства
Практическое применение их в области дополненной реальности — это, как правило, развлекательные или рекламные цели. Камера планшета (мобильного телефона) передает снимаемое изображение в специальную программу, которую пользователь предварительно скачивает в устройство. При анализе изображения программа распознает это изображение, выбирает связанное с изображением содержимое (это может быть текст, видеоролик, 3D-модель) и воспроизводит его на фоне изображения с камеры.
Например, при наведении камеры телефона на рекламу в журнале вы видите на экране телефона объемное изображение товара, который продвигает эта реклама. В некоторые программы воспроизведения такой дополненной реальности заложены функции управления этим объектом (масштабированием, поворотом, вызовом звуковых сигналов при касании разных частей объекта). Возможности визуализации дополненной реальности определяются только фантазией разработчиков программы.
Очки дополненной реальности
Это просто очки-компьютер. Человек, надевший на себя такие очки, видит через прозрачные линзы реальный мир и одновременно наложенные на него виртуальные объекты.
В очках дополненной реальности встроена система, отслеживающая движение глаз, а программное обеспечение, которое суммирует виртуальную и реальную картинку, позволяет создавать иллюзию обзора панорамы. Например, в реальный городской пейзаж можно встроить старинные замки, и в зависимости от поворота головы (взгляда) человек видит разные участки такого дополненного пейзажа. Примером таких очков является устройство Microsoft HoloLens.
Телевизор (экран компьютера)
Обычно применяется для показа телетрансляции, например, спортивных матчей. Видеосигнал, прежде чем отправиться в эфир, пропускается через специальное программное обеспечение, которое накладывает на картинку какую-либо видеоинформацию. Телезритель видит уже измененный видеосигнал, содержащий в себе реальную и компьютерную картинку. Причем зачастую он даже не осознает, что видит дополненную реальность. Понятно, что телесигнал в эфире уходит с некоторой задержкой, необходимой для компьютерной обработки сигнала. Такой прием часто применяется во время спортивных матчей для нанесения на реальную картинку цифровых отметок и линий, показывающих расстояние до ворот, наличие офсайда и т. п.
Игровой компьютер типа Kinect
Собственно говоря, Kinect — это игровой контроллер, работающий вместе с компьютером или игровой приставкой. В состав контроллера входит видеокамера, которая позволяет программному обеспечению анализировать окружающее пространство, положение и жесты игрока. В состав оборудования также входят два инфракрасных датчика глубины и микрофон. Программное обеспечение получает трехмерное изображение и калибрует датчики с учетом уровня освещенности и окружающих условий, проводит распознавание мимики, голоса, движения тела. Таким образом, в игровой процесс, то есть в видеоизображение, формируемое игрой, встраивается сам игрок (и даже несколько игроков) и окружающее его пространство.
Воспроизведение AR в открытом пространстве
Для того чтобы формировать дополненную реальность в открытом пространстве, нужны видеокамеры, компьютер со специальным программным обеспечением, лазерная установка. Видеокамера получает и пересылает в компьютер реальное изображение, программное обеспечение производит анализ изображения, лазерная установка световым лучом прорисовывает на реальном изображении дополнительное изображение. Так, например, работает бильярдный тренажер. Игрок целится кием по шару на бильярдном столе, программа анализирует положение шаров, кия, игрока, вычисляет предполагаемую траекторию движения шара. Лазерная установка проецирует изображения траектории прямо на бильярдный стол. Эту траекторию видит игрок и может корректировать положение кия. Получается классическая система управления с отрицательной обратной связью.
Специальные средства AR
К ним относятся всевозможные специализированные технические устройства, отличающиеся по способу взаимодействия с человеком и способу отображения информации. Хотя общий принцип сложения (синтеза) реального и мнимого изображений с помощью компьютерной программы остается неизменным.
К специальным средствам относятся специализированные шлемы пилотов для тренажеров или реальных условий полета. На стекло шлема выводится некая информация поверх окружающей обстановки, такой шлем отслеживает положение глазных яблок пилота.
Также существует специальное медицинское оборудование, применяемое для обучения врачей или для реального проведения операций. В первом случае, например, проводится обучение медика поиску кровеносного сосуда в введению в него иглы. Игла реальная — кровеносный сосуд виртуальный, но через сложную систему гидравлических механизмов врач ощущает его как реальный (он даже может почувствовать пульс), а при точном попадании иглы в сосуд, на экране устройства из сосуда выходит кровь. Во втором случае, например, при эндоскопических операциях, на изображение оперируемого органа, выводимое на экран, накладывается рентгеновское изображение опухоли, полученное ранее. Это позволяет врачу с большей точностью локализовать опухоль внутри органа.
Можно, конечно, долго описывать и другие способы формирования дополненной реальности, но поставим пока многоточие.
На странице использованы изображения и (или) видеоматериалы из следующих источников:
Дополненная реальность – одна из многих технологий взаимодействия человека и компьютера. Ее специфика заключается в том, что она программным образом визуально совмещает два изначально независимых пространства: мир реальных объектов вокруг нас и виртуальный мир, воссозданный на компьютере.
Новая виртуальная среда образуется путем наложения запрограммированных виртуальных объектов поверх видеосигнала с камеры, и становится интерактивной путем использования специальных маркеров.
Дополненная реальность уже много лет используется в медицине, в рекламной отрасли, в военных технологиях, в играх, для мониторинга объектов и в мобильных устройствах.
Основа технологии дополненной реальности – это система оптического трекинга. Это значит, что «глазами» системы становится камера, а «руками» — маркеры. Камера распознает маркеры в реальном мире, «переносит» их в виртуальную среду, накладывает один слой реальности на другой и таким образом создает мир дополненной реальности.
Существуют три основных направления в развитии этой технологии:
«Безмаркерная» технология AR
«Безмаркерная» технология работает по особым алгоритмам распознавания, где на окружающий ландшафт, снятый камерой, накладывается виртуальная «сетка». На этой сетке программные алгоритмы находят некие опорные точки, по которым определяют точное место, к которому будет «привязана» виртуальная модель. Преимущество такой технологии в том, что объекты реального мира служат маркерами сами по себе и для них не нужно создавать специальных визуальных идентификаторов.
AR технология на базе маркеров
Технология на базе специальных маркеров, или меток, удобна тем, что они проще распознаются камерой и дают ей более жесткую привязку к месту для виртуальной модели. Такая технология гораздо надежнее «безмаркерной» и работает практически без сбоев.
«Пространственная» технология
Кроме маркерной и безмаркерной, существует технология дополненной реальности, основанная на пространственном расположении объекта. В ней используются данные GPS/ГЛОНАСС, гироскопа и компаса, встроенного в мобильный телефон. Место виртуального объекта определяется координатами в пространстве. Активация программы дополненной реальности происходит при совпадении координаты, заложенной в программе, с координатами пользователя.
Стараясь исключить технологические риски и обойти проблемные моменты, при разработке прототипа программного комплекса, мы остановили свой выбор на надежной и проверенной маркерной технологии дополненной реальности.
Так же, использование маркерной технологии имеет дополнительные преимущества в плане внедрения в методическую часть наглядных печатных материалов, используемых в общеобразовательных учреждениях при изучении конкретной темы и проведении практических работ по ней.
Примеры приложений с AR технологиями
Складской учёт с дополненной реальностью
Руководство пользователя с дополненной реальностью
Раскраски с дополненной реальностью
Маркерная AR навигация внутри помещений
Мобильный образовательный комплекс
Промо-приложение и брендирование сок "Добрый"
Живой печатный учебник
Живая полиграфия с AR
Визуализация скрытых объектов
Оборудование для AR технологий
Для работы с технологией дополненной реальности обязательно необходимы следующие компоненты:
- Графическая станция. Это может быть мобильный телефон, ноутбук, персональный компьютер, графическая рабочая станция с профессиональной видеокартой. Одним словом, компьютер.
- Дисплей. Экран телефона, телевизор, монитор, моно или стерео дисплей, проекционный экран.
- Камера. Благодаря камере мы получаем «слепок» реального мира, на который специальное программное обеспечение накладывает виртуальные объекты.
- Метки, или маркеры.
- Программное обеспечение. Математические алгоритмы, которые позволяют камере увидеть и распознать метку (маркер) в окружающем пространстве, а затем определить, какая именно модель программно «привязана» к метке. И, наконец, «положить» эту модель на метку таким образом, чтобы виртуальный 2D или 3D объект повторял любое движение реальной метки.
Технология дополненной реальности это, в основе своей, программное обеспечение. То есть это специальные математические алгоритмы, которые связывают камеру, метки и компьютер в единую интерактивную систему.
Основная задача системы – определить трехмерное положение реальной метки по ее снимку, полученному с помощью камеры. Процесс распознавания происходит поэтапно. Сначала снимается изображение с камеры. Затем программа распознает пятна на каждом кадре видео в поисках заданного шаблона – рамки метки. Поскольку видео передается в формате 2D, то и найденная на кадре рамка метки определяется как 2D контур. Как только камера «находит» в окружающем пространстве рамку, ее следующая задача – определить, что именно изображено внутри рамки. Как только сделан последний шаг, задача системы – построить виртуальную 3D модель в двухмерной системе координат изображения камеры. И привязать ее к метке.
После этого, как бы мы ни передвигали метку в реальном пространстве, виртуальная 3D модель на ней будет точно следовать за движением метки.
К сожалению, маркерная технология, как и любая другая технология, имеет ряд возможных проблем в работе с метками. Бывает, что при движении метки объект может «соскочить» с нее или вовсе исчезнуть с экрана. Это означает, что камера просто перестала «видеть» метку. Есть пять основных причин для этого.
Первое, в чем может заключаться проблема, это освещение. Затемненная зона, слишком яркое направленное освещение, лампа дневного света, светочувствительность камеры, — все эти параметры напрямую влияют на уровень распознавания метки.
Вторая проблема – это расположение реальной метки в пространстве по отношению к камере. Поскольку камера должна четко и целиком видеть рамку метки, она не сможет распознать ее, если метка будет под наклоном или если область рамки будет закрыта, например, рукой. Еще одна причина – слишком быстрое перемещение метки из стороны в сторону. Большинство любительских камер просто не успевает отследить ее перемещения по частоте кадров в секунду и «теряет» метку вместе с моделью.
Если первые две сложности легко устранить, просто следуя инструкции по применению, то есть и третья, более серьезная проблема. Она связана с калибровкой камеры. Калибровка нужна, чтобы построить модель реальной камеры в компьютерном пространстве.
Для того чтобы добавить перспективу и глубину в 2D картинку, которая отображается с камеры на экран, нужно определить параметры перспективной проекции для камеры. Это можно сделать в домашних условиях, используя «шахматную доску» и специальное программное обеспечение.
Еще одна проблема, которая часто относится к web-камерам, — это низкое разрешение камеры. Любительская оптика, тем более встроенные камеры на ноутбуках, как правило, не обладают хорошими объективами с высоким разрешением. Поэтому они дают больше нелинейных искажений и проблем в работе с метками дополненной реальности. Например, если метка будет находиться слишком далеко от камеры или на границе ее видимости, то последняя ее просто «не увидит». Этот вопрос решается покупкой камеры с более высоким разрешением и ее последующей калибровкой.
И последняя проблема – это программное обеспечение. Некоторые алгоритмы распознавания могут иметь ошибки и давать погрешности во время распознавания рамки и «чтения» картинки метки. В этом случае модели могут отображаться некорректно (например, на метке с совой может появиться совсем другой объект) или вовсе исчезать с экрана.
Аппаратная часть, для реализации базовых функций технологии дополненной реальности должна решать 3 основных задачи: получать видеопоток хорошего качества, иметь возможность обработать данный видеопоток и дополнить слоем с виртуальными объектами и, конечно же, вывести обработанные данные на устройства вывода для восприятия конечным пользователем.
Вас интересует, что такое наложение и тактильное общение, что такое дополненная реальность? Что такое смарт-очки и наголовные дисплеи? Какая разница между дополненной и виртуальной реальностью? Что такое мобильные вычисления? Что означают все эти цифровые тенденции? Вам кажется, что вы никогда не угонитесь за этими технологиями? Не волнуйтесь, дышите ровно. Мы здесь для того, чтобы помочь вам в этом разобраться.
Итак, вы что-то слышали о AR/VR/MR и хотели бы узнать больше. Для большинства людей это еще довольно абстрактная и экзотическая технология, которая часто воспринимается как научная фантастика из голливудских фильмов: анимированные голограммы, интерактивные дисплеи и виртуальные 3D-модели. На самом деле все эти вещи уже существуют.
Реальная среда, модифицированная компьютерными объектами, присутствует во многих сферах — от авиации до компьютерных игр, просто мы, как пользователи, не задумываемся об этом. Если вы в последние годы пробовали ловить покемонов или разместить мебель в своей комнате через приложение IKEA, поздравляем – вы использовали технологию дополненной реальности, у которой есть куда более широкое поле для развития. Да, она по-прежнему находится в разработке, и многие инженеры и технические компании по всему миру работают над ее улучшением. И все-таки давайте выясним, что же такое дополненная реальность, и начнем, пожалуй, с этого захватывающего видео от Magic Leap.
Что такое дополненная реальность (Augmented Reality — AR)?
Это технология, которая расширяет наш физический мир, добавляя к нему слои цифровой информации. В отличие от виртуальной реальности — Virtual Reality (VR), AR не создает целые искусственные среды для замены реального мира виртуальным, а проявляется в прямом представлении о существующей среде, добавляя к ней звуки, видео, графику.
Представление физической среды реального мира с наложенными компьютерными изображениями таким образом, что происходит изменение восприятия реальности и есть AR (Augmented Reality).
Сам термин был придуман еще в 1990 году, и одно из первых его коммерческих применений было осуществлено на телевидении и в армии. С развитием Интернета и смартфонов, AR выкатила вторую волну своего присутствия в современном мире и в настоящее время связана в основном с интерактивной концепцией. 3D-модели непосредственно проецируются на физическое пространство и предметы, сливаясь вместе в реальном времени. Различные приложения дополненной реальности влияют на наши привычки, социальную жизнь и индустрию развлечений.
Приложения AR обычно соединяют цифровую анимацию со специальным «маркером» или с помощью GPS в телефонах для определения местоположения. Аугментация происходит в реальном времени и в контексте физической среды, например — наложение баллов в спортивных соревнованиях в прямом эфире.
Сегодня существует 4 типа дополненной реальности:
- без маркерная AR
- маркерная AR
- проекционная AR
- AR на основе наложений
Краткая история AR
AR в 1960-х годах. В 1968 году Иван Сазерленд и Боб Спрулл создали первый дисплей для ношения на голове, который они назвали «дамоклов меч». Очевидно, это было грубое устройство, которое отображало примитивную компьютерную графику.
AR в 1970-х годах. В 1975 году Майрон Крюгер создал Videoplace — лабораторию искусственной реальности. Ученый предусматривал взаимодействие человеческих движений с цифровыми предметами. Позднее эта концепция использовалась для некоторых проекторов, видеокамер и экранных силуэтов.
AR в 1980-х годах. В 1980 году Стив Манн разработал первый портативный компьютер под названием EyeTap, предназначенный для ношения перед глазами. Он записывал сцену, чтобы позже накладывать на нее эффекты, и показывать все это пользователю, который мог играть с ними с помощью движений головы. В 1987 году Дуглас Джордж и Роберт Моррис разработали прототип head-up display (HUD). Он показывал астрономические данные, наложенные на реальное небо.
AR в 1990-х годах. 1990 год ознаменовался появлением термина «дополненная реальность». Впервые определение появилось в работе Томаса Кауэлла и Дэвида Мизелла — исследователей компании Boeing. В 1992 году Луис Розенберг из ВВС США создал систему AR под названием «Virtual Fixtures». В 1999 году группа ученых под руководством Фрэнка Дельгадо и Майка Абернати проверила новое навигационное программное обеспечение, которое генерировало данные о взлетно-посадочных полосах и улицах с видео вертолета.
AR в 2000-х годах. В 2000 году японский ученый Хироказу Като разработал и опубликовал ARToolKit — SDK с открытым исходным кодом. Позже он был настроен на работу с Adobe. В 2004 году Trimble Navigation представила наружную систему AR, установленную на шлеме. В 2008 году Wikitude создали AR Travel Guide для мобильных устройств Android.
AR сегодня. В 2013 году Google осуществила бета-тестирование Google Glass — с подключением к Интернету через Bluetooth. В 2015 году Microsoft представила две совершенно новые технологии: Windows Holographic и HoloLens (AR-очки с множеством датчиков для отображения HD-голограмм). В 2016 году Niantic запустил игру Pokemon Go для мобильных устройств. Приложение взорвало игровую индустрию и всего за первую неделю заработало 2 миллиона долларов.
Как работает дополненная реальность.
Для AR может использоваться определенный диапазон данных (изображения, анимация, видео, 3D-модели), и люди будут видеть результат как в естественном, так и в синтетическом свете. Кроме того, пользователи знают, что они находятся в реальном мире, который просто дополнен компьютерным зрением, в отличие от виртуальной реальности (VR).
AR может отображаться на разных устройствах: экранах, очках, карманных устройствах, мобильных телефонах, наголовных дисплеях. Она включает в себя такие технологии, как S.L.A.M. (одновременная локализация и отображение), отслеживание глубины (данные датчика, вычисляющие расстояние до объектов), а также следующие компоненты:
Камеры и датчики. Сбор данных о взаимодействиях пользователей и отправка их для обработки. Камеры на устройствах сканируют окружение, и с помощью этой информации устройство находит физические объекты и генерирует 3D-модели. Это могут быть камеры специального назначения, например, в Microsoft Hololens, или обычные камеры смартфонов для фото и видео.
Обработка. В конечном итоге устройства AR должны действовать как маленькие компьютеры, как это уже делают современные смартфоны. Точно так же они требуют процессора, графического процессора, флэш-памяти, ОЗУ, Bluetooth/WiFi, GPS и т. п., чтобы иметь возможность измерять скорость, угол, направление, ориентацию в пространстве.
Проекция. Это происходит с помощью миниатюрного проектора на гарнитурах AR, который принимает данные от датчиков, обрабатывает их и выводит на поверхность для просмотра. Фактически, использование проекций в AR еще не полностью разработано так, чтобы его можно было использовать в коммерческой среде: товарах или услугах.
Отражение. У некоторых устройств AR есть зеркала, которые помогают человеческому глазу просматривать виртуальные изображения. У некоторых есть массив маленьких изогнутых зеркал, а у некоторых — двустороннее зеркало, отражающее свет от камеры и глаз пользователя. Целью таких траекторий отражения является правильное выравнивание изображения.
Типы дополненной реальности
Маркерная AR. Иногда ее еще называют распознаванием изображений, поскольку в этом случае для сканирования требуется специальный визуальный объект и камера. Это может быть что угодно — от печатного QR-кода до специальных знаков. В некоторых случаях устройство AR также вычисляет положение и ориентацию маркера для размещения содержимого. Таким образом, маркер инициирует цифровые анимации для просмотра пользователями, в следствие чего изображения могут превращаться в 3D-модели.
Без маркерная AR. Основана на дополненной реальности, которая использует GPS, компас, гироскоп и акселерометр для предоставления данных на основе местоположения пользователя. Затем эти данные определяют, какой контент AR вы находите или получаете в определенной области. При наличии смартфонов этот тип AR обычно создает карты и направления, а также данные о ближайших компаниях. Приложения включают события и информацию, всплывающие рекламные объявления, навигационную поддержку.
Проекционная AR. Данный тип использует проецирование синтетического света на физические поверхности, а в некоторых случаях дают возможность взаимодействовать с ним. Это голограммы, которые мы все видели в фантастических фильмах, таких как «Звездные войны». Технология определяет взаимодействие пользователя с проекцией по ее изменениям.
AR на основе совмещений (наложений). В этом случае происходит полная или частичная замена исходного представления дополненным. Распознавание объектов играет здесь ключевую роль, без нее вся концепция просто невозможна. Мы все видели пример наложенной дополненной реальности в приложении IKEA Catalog, который позволяет пользователям размещать виртуальные предметы из каталога мебели в своих комнатах.
Устройства дополненной реальности
Многие современные устройства уже поддерживают AR. От смартфонов и планшетов до специальных гаджетов, таких как Google Glass, или карманных устройств. И эти технологии продолжают развиваться. Для обработки и проектирования устройства и аппаратные средства AR в первую очередь, используют датчики, камеры, акселерометр, гироскоп, цифровой компас, GPS, процессор, дисплеи.
Устройства, подходящие для использования дополненной реальности, относятся к следующим категориям:
Мобильные устройства (смартфоны и планшеты) — самые доступные и наиболее подходящие для приложений AR — от игр и развлечений до бизнес-аналитики, спорта и социальных сетей.
Специальные устройства AR — предназначенные исключительно для расширенных реалий. Одним из примеров является head-up display (HUD) — отправка данных на прозрачный дисплей непосредственно в представление пользователя. Первоначально введенные для обучения пилотов военных истребителей, эти устройства стали использоваться в гражданской авиации, автомобилестроении, промышленности, спорте и т. д.
AR-очки (или умные очки) – Google Glass, очки Meta 2, Laster See-Thru, очки Laforge AR и другие. Все эти устройства способны отображать уведомления с вашего смартфона, помогать работникам конвейеров, использовать hands-free контент и т. д.
AR-контактные линзы (или смарт-линзы) продвинули технологию дополненной реальности еще на один шаг вперед. Такие производители как Samsung и Sony, объявили о разработке AR объективов. Samsung работает над объективами как аксессуаром для смартфонов, в то время как Sony проектирует объективы как отдельные устройства (с такими функциями, как фотосъёмка и хранение данных).
Виртуальные сетчатые дисплеи (VRD). Эти устройства создают изображения, проецируя лазерный свет в глаз человека, стремясь к ярким изображениям с высоким контрастом и разрешением. Эти системы еще предстоит адаптировать для практического использования.
Возможнее применение AR
Дополненная реальность может дополнять нашу повседневную деятельность различными способами. Одними из самых популярных приложений AR являются игры. Новые AR игры улучшают пользовательские возможности для игроков, некоторые из них даже способствуют более активному образу жизни (Pockemon Go, Ingress). Игровые площадки перемещаются из виртуальных сфер в реальную жизнь, и игроки фактически выполняют определенные действия в физическом мире. Хороший пример — простая спортивная игра для детей канадской компании SAGA, где дети должны отбивать мячом движущиеся к стене кубики. AR в розничной торговле может повлиять на привлечение и удержание клиентов, а также узнаваемость бренда и увеличение продаж. Некоторые функции также могут помочь заказчикам сделать свои покупки, основанные на предоставление данных о продуктах с 3D-моделями любого размера или цвета, более удачными. Рынок недвижимости также может воспользоваться преимуществами дополненной реальности посредством трехмерных экскурсий по квартирам и домам.
Можно назвать и другие потенциальные области для использования технологии дополненной реальности:
- Образование: интерактивные модели обучения от математики до химии.
- Медицина и здравоохранение: помощь в диагностике, мониторинге, обучении.
- Военное дело: расширенная навигации и маркировка объектов в режиме реального времени.
- Туризм: данные о направлениях, достопримечательностях, помощь в навигации при путешествиях.
- Медиа трансляция: усиление информационных потоков живыми трансляциями путем наложения контента.
- Промышленный дизайн: визуализация, расчеты и моделирование.
