Что такое VR, AR и MR и где они могут применяться

eXtended Reality (XR) – это общий термин для технологий, которые улучшают или заменяют наш взгляд на мир. Это часто происходит из-за наложения или погружения компьютерного текста и графики в реальную и виртуальную среду или даже сочетание того и другого.
XR включает дополненную реальность (AR), виртуальную реальность (VR) и смешанную реальность (MR). Хотя все три «реальности» имеют общие характеристики и пересекающиеся требования, каждая имеет различные цели и основные технологии.

XR должна играть фундаментальную роль в метавселенной. "Следующая эволюция Интернета" объединит реальные, цифровые и виртуальные миры в новые реальности, доступ к которым будет доступен через "шлюз" с питанием Arm, такой как гарнитура VR или пара умных очков AR.
Технологии XR обладают некоторыми фундаментальными сходствами: основной частью всех переносных устройств XR является возможность использования методов визуального ввода, таких как отслеживание объектов, жестов и взгляда, для навигации по миру и отображения контекстно-зависимой информации.

Восприятие глубины и картографирование также доступны с помощью функций глубины и расположения.
Однако устройства XR отличаются в зависимости от типа опыта AR, MR и VR и сложности использования сценария, для которого они разработаны.

Что такое дополненная реальность (AR)?

Дополненная реальность (AR) улучшает наше представление о реальном мире, накладывая на то, что мы видим, информацию, сгенерированную компьютером. Сегодня эта технология распространена в дополненных программах для смартфонов, требующих от пользователя держать телефон перед собой. Принимая изображение с камеры и обрабатывая его в режиме реального времени, программа может отображать контекстную информацию или обеспечивать игровой и социальный опыт, который выглядит корнями в реальном мире.
Хотя в последнее десятилетие дополненная реальность для смартфонов значительно улучшилась, ее применение остается ограниченным. Все больше внимания уделяется созданию более целостного опыта дополненной реальности с помощью смарт-очков, которые можно носить. Эти устройства должны сочетать процессор со сверхнизким энергопотреблением с несколькими датчиками, включая восприятие глубины и отслеживания, и все это в форм-факторе достаточно легком и удобном для длительного ношения.
Разумным очкам AR нужна постоянная, интуитивно понятная и безопасная навигация, когда пользователи находятся в движении. Это требует ключевых усовершенствований в таких функциях, как глубина, окклюзия (когда один объект в 3D-пространстве закрывает другой объект от зрения), семантика, расположение, ориентация, положение, поза, а также отслеживание жестов и глаз.
В 2021 году на рынок появился ряд новых моделей умных очков, в том числе умные очки Spectacle от Snap, Lenovo ThinkReality A3 и Smart Glass Next Gen от Vuzix. Умные очки AR улучшат нашу жизнь в будущем, как описано в видео ниже. Они также, вероятно, будут играть роль шлюзов в метавселенной, где пересекаются виртуальные элементы и реальность.

Что такое виртуальная действительность (VR)?

Виртуальная реальность (VR) полностью заменяет взгляд пользователя, погружая его в созданную компьютером виртуальную среду.Этот тип технологии XR существовал некоторое время с постепенными усовершенствованиями. Он используется в основном для развлечений, таких как игры, концерты, фильмы или спорт, но он также ускоряется в социальной сфере. Для виртуальной реальности для увлекательных развлечений нужны такие возможности, как конвейер HD-рендеринга, объемный захват, отслеживание движения 6DoF и захват выражения лица.
VR также используется как инструмент для обучения и образования и здравоохранения, например в реабилитации. Чтобы сделать этот опыт возможным (а также бесперебойным) для конечного пользователя, технология VR часто сосредотачивается на высококачественном видео и рендеринге и сверхнизкой задержке.
Наконец, устройства VR теперь улучшают опыт видеоконференций с помощью таких платформ как RecRoom, которые позволяют виртуальные встречи в различных виртуальных мирах. RecRoom, теперь поддерживающий Oculus Quest, был показан в третьем эпизоде ​​сериала Arm's New Reality в 2020 году, где обсуждались захватывающие впечатления от VR. 

В то время как некоторые VR-устройства должны быть подключены к ПК, автономные VR-устройства, такие как Oculus Quest 2 на фото, способны обеспечить AAA и метавселенную игры. Благодаря мощным процессорам Arm эти автономные VR-устройства можно брать куда угодно. В будущем автономные устройства VR станут устройствами-шлюзами к метавселенной.

Что такое смешанная реальность (MR)?

MR находится где-то между AR и VR, поскольку совмещает реальный и виртуальный миры. Есть три ключевых сценария для этого типа технологии XR. Первый – с помощью смартфона или носимого устройства AR с виртуальными объектами и персонажами, наложенными на среду реального мира или, возможно, наоборот.

Мобильная игра Pokémon Go, захватившая мир еще в 2016 году, накладывает виртуальных покемонов на реальную среду с помощью камеры смартфона (это также было продемонстрировано на HoloLens 2, как показано на Microsoft Ignite 2021). Эту игру часто рекламируют как революционную AR-игру, но на самом деле это отличный пример MR – сочетание реальных сред с объектами, созданными компьютером.
Смешанная реальность также начинает использоваться для наложения реальных VR игроков в видеоигры, чтобы перенести реальных личностей на игровые потоковые платформы, такие как Twitch или YouTube.

Что известно о Reality Pro на данный момент

Согласно последним истокам, слухам и отчетам, первым устройством, которое мы, вероятно, увидим от Apple, является Reality Pro. Говорят, что это гарнитура Apple AR/VR первого поколения, которая будет иметь вязаный сетчатый корпус, подобный AirPods Max. Считается, что это изящная гарнитура, изготовленная из алюминия, стекла и углеродного волокна, чтобы сделать ее легкой и удобной для ношения, и, согласно большому отчету Wall Street Journal, ее «возможности значительно превышают возможности конкурентов», поэтому мы заинтересованы в том, чтобы узнать больше об этом.

Дата выхода Apple Reality Pro в Украине

Было несколько слухов, когда Apple может представить гарнитуру Apple Reality Pro AR/VR. По словам журналиста Марка Гурмана, недавно гарнитуру продемонстрировали 100 руководителям Apple в театре Стива Джобса в Apple Park. Предположение состоит в том, что это происходит в канун великого открытия, которое состоится на мероприятии Apple WWDC в июне 2024 года. Однако, по словам аналитика Мин-Чи Куо, Apple передумала по этому поводу. В твите Куо сказал, что Apple не очень оптимистично смотрит на анонсы гарнитуры AR/MR, которые воспроизводят впечатляющий момент iPhone. и он может быть запущен только позже в 2024 году.

Цена Apple Reality Pro в Украине

Хотя в течение длительного времени гарнитуры Apple в разработке были слишком далеки, чтобы детали цены не стоило обсуждать, ситуация меняется.
Казалось, открытие все ближе и ближе, в начале 2024 года появилось несколько отчетов, указывающих на цену примерно 3000 долларов США за первый набор очков, которые выпустит Apple.
Это большая цифра, но это не удивительно, учитывая задействованные технологии и насколько нишевыми они будут сначала.

Технические характеристики Apple Reality Pro

Согласно источнику Bloomberg в начале 2021 года, гарнитура Reality Pro будет использовать дисплеи с более высоким разрешением, чем те, которые сейчас используются в гарнитурах конкурентов. Он может иметь дисплей 8K для каждого глаза или двойной дисплей 4K OLED.

Согласно другой заявке на патент, гарнитура Reality Pro может похвастаться адаптивным дисплеем для своей гарнитуры AR, которая будет учитывать окружение пользователя и адаптироваться к его глазам.
Цель здесь двоякая. Во-первых, чтобы уменьшить ослепление и дискомфорт, которые пользователь мог бы испытывать при переходе от просмотра в виртуальной реальности. Во-вторых, сделать гарнитуру более удобной для ношения, поскольку она приятна для глаз как во время использования, так и когда вы ее снимаете.

Это согласуется с предположением, что гарнитура также включает отслеживание глаз и тела. Предлагаемая технология не только будет измерять окружающее освещение в окружающей среде, но и измерить такие вещи, как «частота моргания, размер зрачка и открытость глаз», чтобы соответствующим образом регулировать яркость гарнитуры.

Кроме того, что предложенная технология станет более удобной, она поможет «увеличить воспринимаемый динамический диапазон дисплея». Это должно сделать опыт более удовлетворенным, повысить комфорт и, надеемся, также сэкономить аккумулятор.

Это вполне правдоподобно, поскольку другие гарнитуры, такие как Meta Pro и Varjo Aero, включают отслеживание глаз для таких вещей, как фовеатный рендеринг. Это интеллектуальная логика, которая позволяет гарнитуре воспроизводить изображение, на которое вы смотрите, в более высоком качестве, одновременно снижая качество изображения вашего окружения в периферийном заре. Это может сэкономить заряд батареи на Reality Pro, а также создать впечатляющую графику.

Судя по всему, согласно отчету Bloomberg в начале 2021 года в гарнитуре нет места для очков с рецептом – вместо этого в гарнитуру можно вставлять специальные линзы. Apple также тестирует встроенные камеры для отслеживания рук и, как говорится, работает над системой ввода текста "печатью" в воздухе.

Является ли Apple Reality Pro беспроводной VR-гарнитурой?

Как и Meta Quest 2 и Meta Quest Pro, эта гарнитура не будет отсоединена от компьютера и может использоваться беспроводным способом.
Однако также предполагается, что Reality Pro может подключаться к «специализированной коробке» из-за высокоскоростной беспроводной технологии малого радиуса действия под названием 60 ГГц WiGig. Он оснащен 5-нанометровым процессором Apple и напоминает PC Tower.

По данным Bloomberg, используемый процессор, очевидно, мощнее, чем чипы Apple M2, которые используются в новых компьютерах Mac. Хотя слухи 2022 года предполагали, что Apple может использовать свой чип U1 для своей гарнитуры. Этот чип появился у Apple iPhone 11 и 12 и мог сыграть роль в гарнитуре смешанной реальности. Это может означать перекрестную поддержку сверхширокополосных устройств, а также чрезвычайно важную поддержку для точного пространственного восприятия.

Патент, замеченный в феврале 2021 года, показал, что Apple также ищет, как она может использовать тактильную обратную связь как часть своей гарнитуры.Ходят слухи, что гарнитура Apple Reality Pro будет использовать либо встроенную батарею, как гарнитура Meta Quest, либо внешнюю батарею, но в любом случае ожидается, что она будет иметь пару часов, прежде чем ей понадобится зарядка.
Эта деталь аккумуляторной батареи стала гораздо более распространенной в отчетах в начале 2024 года, поэтому выглядит все вероятнее, но она, по всей видимости, поместится на ладони и совсем не будет слишком массивной.

По словам Марка Гурмана из Bloomberg, Reality Pro сосредоточится на играх, а также на потреблении медиа. Ожидайте, что сможете смотреть на нем Apple TV+.

Обновление за 06.06.2024

На WWDC 2024 Apple представила долгожданные очки смешанной реальности. Девайс получил название Vision Pro. Гарнитура оборудована специально разработанной операционной системой visionOS и имеет такие уникальные функции, как Spatial Audio.

Vision Pro обычно позиционируется как устройство AR, но может переключаться между дополненной и полной виртуальной реальностью с помощью диска. Устройство имеет пульт дистанционного управления. Для того чтобы открыть программы, достаточно посмотреть на них. Для работы внутри приложений можно использовать сенсорный экран или голосовые команды.

При удаленном разговоре с людьми используется пространственное аудио, например, чтобы разместить участников FaceTime по комнате. Гарнитура будет контролировать ваши глаза с помощью системы EyeSight. Если вы находитесь в полном режиме виртуальной реальности, специальный экран укажет на это.

Устройство использует сквозное видео, позволяющее видеть реальный мир в полном цвете. Apple говорит, что устройство может проектировать 3D-объекты, в том числе извлекать нужные элементы из потока сообщений в реальный мир. Благодаря названию Apple также продемонстрировала телевизионный и аркадный контент, включая премиумсегмент.В частности, Disney представил тематические программы для спорта, Star Wars, Marvel, National Geographic и т.д. из Apple Vision Promenade.

Vision Pro также предлагает кинематографический опыт просмотра видео, чтобы масштабировать экран за пределы размера вашей комнаты.

Цена гарнитуры $3499. Vision Pro будет доступен в магазинах в начале следующего года. По состоянию на данный момент, Apple планирует реализацию девайса исключительно в США.