Denis Shiryaev
5 933
Блоги

Как интерфейс дополненной реальности будет выглядеть к 2025 году

Вряд ли я что-то угадаю, но всё же попробую.

Поделиться

В избранное

В избранном

AR, который я сделал для вас на коленке

Этот пост — фантазия, о которой меня никто не просил, на тему того, как будет выглядеть интерфейс операционной системы в дополненной реальности 2025 года. Материал получился длинный и очень субъективный. Возможно, я даже что-то угадаю, но, скорее всего, нет.

Текущее положение дел

Мы уже не будем смотреть в экраны наших телефонов чаще, чем сейчас. Грядущее обновление iOS и Android добавит сервис, который я бы назвал «Верните, пожалуйста, мне контроль над качеством моей смартфон-жизни». Это небольшие твики ОС, которые попросят отвлекаться от экрана или предложат особые режимы, где не будут приходит пуши, а экран будет не таким цветным и информативным.

Это, очевидно, скажется на том, что время, потраченное на Инстаграм или любой другой сервис, будет немного снижаться. Ещё для этого операционные системы вводят разделы статистики, чтобы вы могли сделать какие-то выводы и в чём-то себя ограничить.

Оно и понятно, пуши сейчас шлют не только по важным поводам (как например, делает TJ), а буквально по любому: вернитесь обратно в игру, напишите пост, лайкните друга, закончился рэп-баттл, обновите ОС, посмотрите твиты и тому подобное.

В UX это называется Dark Pattern — вынуждать человека делать то, что нужно сервису. На скриншоте мягкое его проявление

В то же время AR Kit последней версии — платформа для работы с дополненной реальностью — что в iOS, что в Android не вызывает никаких нареканий. Виртуальные объекты прекрасно располагаются в пространстве, с ними можно взаимодействовать (правда пока через экран). Более того, успехи в области машинного обучения позволяют не только, скажем, зацепиться за поверхность или стену, но и распознать изображение и взаимодействовать с ним — всё это вшито в удобный набор для разработчика. Бери не хочу и делай приложение.

Пример сочетания дополненной реальности и распознавания объектов (их много по запросу #arkit2 в Твиттере)

Особенно хорошо в AR смотрятся какие-то обучающие материалы:

Школьный проект с такой же технологией, источник

Единственно, что сейчас плохо с AR, так это то, что никому не нравится смотреть в экран и водить телефоном в пространстве. Это просто не удобно, уже не говоря о том, что выглядит глуповато.

На этой инфографике, которой я горжусь, видно — что текущая дополненная реальность на 90% не интересная, так как экран телефона сам по себе маленький

В общем, учитывая высокое качество работы дополненной реальности на последних смартфонах (близко к идеальному), то рынок всё ближе и ближе к AR-очкам. Давайте попробуем представить, какими бы они могли быть — а главное, какие интерфейсы, вы бы там использовали.

Добро пожаловать в будущее — AR first 2025

Типичный человек из будущего ☝︎

На дворе 2025 год, AR очки — привычное дело для гиков или работников узких сфер, и конечно выглядят они все как ****** (плохо). В них нормально не выйдешь на улицу, они всё ещё достаточно большие, всё ещё достаточно неудобные. А интерфейсы приложений под дополненную реальность толком никто не стандартизировал из-за того, что нет единого маркетплейса — допустим, что крупные игроки медленнее всех реагируют на новые вещи, так как ждут наиболее удачные решения на этом рынке, а также формирования спроса.

Так было с приходом на рынок мобильных устройств около 10 лет назад, когда вместо КПК со стилусом появился iPhone. Так, мне кажется, будет и в этот раз. Крупный игрок придёт на рынок AR с магазином приложений и введёт какой-то стандарт интерфейсов (guidelines), по которому будет разрабатывать рынок.

Поскольку это моя фантазия, тут можно любой бред писать. Итак, 2025 год, какая-нибудь Apple презентует очки, которые выглядят как обычные очки. Они достаточно элегантны, в них можно выйти на улицу. И уже есть ряд концепций управления ими.

Собственно, я хотел поговорить именно о концепциях управления AR-информацией — о наиболее удобных человеку AR-механиках и о возможных гайдлайнах будущего, а не о тех, что нам всем показывают в кино.

Вроде таких, обычные очки в общем

Движения руками

Первое, что меня особенно раздражает в кинематографе при показе дополненной реальности, это когда пользователь стоит и размахивает руками, отправляя окна или кнопки в пространство — это супернеудобно.

Вы, конечно, можете так сделать, особенно, если хотите показать что-то таким же людям в очках или в случае какой-то короткой итерации с объектом. Например, «тапнуть» в кофе-машину и выбрать эспрессо.

Но в обычной жизни:

  • Держать долго руки в воздухе утомительно;
  • Можно кому-то заехать в глаз;
  • Будто природа нас к такому не готовила.
Пример AR-интерфейса из фильма «Особое мнение». Никакие специальные перчатки, само собой, не нужны

Я ради интереса постоял и потыкал рукой в стену несколько минут, фантазируя на тему интерфейсов. Единственное оправдание такому подходу для долгой итерации — это когда вы ведёте презентацию в дополненной реальности. Иначе руки довольно быстро устают.

Концепт для управления умным домом через Holo Lens. Проще руками выключатель щёлкнуть, чем тянуться к кнопке

Ещё Leap Motion в конце июля показали свой вариант интерфейса в дополненной реальности. Пока это удручающее зрелище.

Представьте: тут нужно набирать текст. В этой версии запуск голосового ввода вообще не в «зоне тапа»

Или вот такое вот ужасное меню, не масштабируемое и не удобное.

У меня уже от длительности гифки рука устала

Вывод

Основой для интерфейсов должны стать природные вещи, которые мы привыкли использовать в обычной жизни и которым тысячи лет — стол, стена, ладонь (о ней позже). Движения руками должны быть привычными и не хуже тех, что есть на телефонах. Взаимодействие с объектами в пространстве, конечно, остаётся, но должно быть краткосрочным.

Элементы интерфейса в пространстве

Вторая вещь, где ещё нормально не развернулись UI/UX-дизайнеры, это, конечно, полезное пространство или сам интерфейс дополненной реальности.

Пример зрелищного, но не лучшего AR-интерфейса

Интерфейс должен быть простым, понятным и информативным. Особенно такой, который может напрямую повлиять на вашу жизнь.

Я думаю, что не будет существовать такого API в операционных системах очков, которое позволит без инициативы пользователя перекрыть вид от первого лица каким-то попапом (интересная идея для вирусов).

Такая механика может попросту убить — в машине, на велосипеде, на самокате или пешком, а безопасность пользователя в приоритете любой IT-компании. Если держать это в голове, то можно представить, что на интерфейс хорошо ложится некое «зонирование», например, такое.

Зоны AR-пространства

Этот страшненький макетик пытается передать дух того, как распределять рабочую зону пользователя. Например, понятно, что нужна небольшая зона для системной информации, вроде часов, информации о батарее, мини-карты и тому подобного.

Небольшая зона, возможно будет выделена для какой-то важной, похожей на пуши информации — но, наверное будет какое-то ограничение на количество текста в этой зоне, чтобы не отвлекать человека. Желательно вообще обойтись там без текста, или выкинуть эти пуши 2.0 нафиг.

Для оповещения о ЧС ситуациях, авариях и многом другом это место хорошо бы подошло, ведь где ещё лучше написать, что ты, например, в радиоактивной зоне. Главное не пускать в эту зону приложения-игры или медиа-сервисы.

Основная рабочая зона для взаимодействия с приложениями находится внизу — на поверхностях перед пользователем.

  • Во-первых, мы почти всегда смотрим себе под ноги, так что вниз смотреть достаточно просто;
  • Во-вторых, тысячи лет мы используем столы или похожие на них предметы. Было бы странно не использовать это и далее.

Это пересекается с пунктом о руках, которые устают, если долго держать их в воздухе. В таком случае какие-то файлы можно подвесить в воздухе, какие-то — раскидать в куче на столе.

Самое главное — зона перед пользователем должна быть условно запрещена для любых механик, которые пользователь сам не вызовет. По умолчанию никто в эту зону не сможет вмешаться, ведь для этого нужно будет запустить приложение.

Конечно, вы можете сознательно разместить там что-то или полностью закрыть изображение реального мира, запустив игру. Таким образом, получится обычный VR-шлем. Не все это, как мне кажется, понимают, но идеальный AR-шлем — это VR-шлем по умолчанию.

Пример информативной навигации в AR. Исходный код доступен тут

Ещё запрет использования центральной зоны не должен распространяться на объекты, с которыми вы бы хотели взаимодействовать или, увы, на рекламу. Скорее всего, у таких объектов будет высокий приоритет на отображение чего-либо, вроде «ваша машина тут», «такси вот», «покупка билета в транспорт доступна здесь» и «бургеры лучшие в городе без регистрации и СМС тут».

Отдельно меня забавляет мысль, что в теории вы могли бы добавить в избранное домашнюю кофеварку и видеть её всегда — даже сквозь стены, когда вы дома. Очень удобно.

Вывод

Интерфейс AR-операционной системы должен быть простым, информативным и не блокировать вид из камеры пользователя (головы?) без разрешения.

Рабочий прототип от Leap Motion выглядит сейчас так

Самый нативный способ управления AR

Можно предположить, что самым удобным способом управления дополненной реальности будет что-то, что всегда с вами, и то, что можно быстро вызвать именно, когда вам нужно. Мне кажется, хорошим вектором в этом направлении будет ладонь.

Пример жеста для вызова главного меню, прототип

Во-первых, если у вас все руки на месте, то и ладонь всегда с собой. Кроме удобства это ещё и неплохой плюс вам. Во-вторых, в такую структуру ложатся сотни тысяч приложений, которые уже написаны и присутствуют в магазинах приложений. Делать платформу, где нет приложений и развивать её с нуля, дорого и тяжело. Возможно, поддержать старые приложения в таком формате — хорошая идея для гигантов вроде Apple или Google.

Вот так бы выглядел каталог красавчиков в AR

Ещё один плюс к такому подходу — все жесты для взаимодействия с экраном, которыми люди пользуются уже сейчас, нормально ложатся на такой AR-UX. Не придётся переучиваться, ведь нужно лишь добавить какие-то жесты или инструменты выноса запущенных приложений с ладони на поверхности вокруг или просто перед пользователем.

Палитра жестов может быть расширена — смахните с руки фотографию в сторону друга и он получит запрос на её получение, сожмите руку в кулак три раза и сделайте скриншот действительности вокруг вас.

Все эти жесты — классная штука, чтобы фантазировать. Я уже применял какие-то на улице для тестов как сумасшедший. Вам понравилось бы — и то как я их применял и как они бы работали на самом деле.

Я искренне верю, что наиболее удачный и безболезненный переходный период во вселенную AR случился бы с помощью проекций на ладонь.Если вы знаете кого-то, кто делает эти интерфейсы и шлемы, поделитесь с ним этой мыслью. Мне кажется, стоит прекратить применять веб и мобильные интерфейсы в совершенно новую парадигму виртуального мира.

Вам может показаться это сложным, так как нужно различать руки, пальцы и отслеживать движения. Но всё это уже сейчас решенные задачи, не говоря уже о 2024 годе. Привожу пример проекта North Star от Leap Motion, о котором я писал выше. North Star — это open-source проект, то есть вы сами можете собрать шлем уже сейчас.

Пример того, что можно уже сейчас

Такая механика могла бы вытеснить в том числе и часы, и любимые, уже существующие носимые интерфейсы.

Приятный пример AR-часов с Dribbble

Зачем нам вообще что-то на ладонях, есть же голосовой интерфейс?

Я убежден, что несмотря на развитие голосовых интерфейсов, потребность на графические интерфейсы не исчезнет. Бывают случаи и даже категории людей, которым не удобно говорить вслух, что они хотят. Я сам отношусь к такой категории людей. Каждый раз, когда говорю через гарнитуру в общественном месте, чувствую себя глупо. Естественно, я и такие как я, не стали бы в метро шептать себе в ладонь «Запусти Инстаграм»: для нас останутся старые добрые кнопки и быстрый поиск по приложениям.

А ещё есть целый ряд задач, которые не смогут решить голосовые или диалоговые интерфейсы. На эту тему я уже писал подробно, так что повторяться не буду.

Нам очевидно нужна будет какая-то клавиатура, что-то среднее между Swype-подходом и «ведением» пальцем в воздухе, как предложил Leap Motion. Мне кажется, снова хорошо вписывается концепт того, как устроен ввод сейчас с телфонов: ты держишь что-то руками и это что-то печатает текст.

NEC в 2015 году думали, что это может быть удобным. Очевидно, что нет — ввод должен быть возможен с двух рук

Пример того, как могла бы выглядеть клавиатура в AR, я не буду даже прикидывать. Это просто постоянная работа с прототипом, чтобы понять, что там удобно — ясно что водить пальцем в воздухе, так себе идея.

Рекламные возможности

Совместный AR — то, что показывал Apple на своей последней WWDC и то, что несомненно изменит принцип обмена информацией — это когда один пользователь видит виртуальный мир другого пользователя.

Видео с трансляции WWDC с приложением от Lego

Совместный AR — это настолько базовая вещь, что я не буду описывать её отдельно. Вспомнил я про неё, чтобы пофантазировать над персонализированными рекламными возможностями, которые нас все ждут.

Прекрасный мир будущего, вид из 2010 года

В 2017 году суд Висконсина постановил, что AR-технология защищена первой поправкой. Это означает, что пространство дополненной реальности свободно и доступно для всех, если информация в AR-пространстве не является чем-то ложным, преступным или клеветническими. В ином случае её удалят, а автор понесет наказание.

Если переформулировать вердикт окружного судьи: даже если вы владелец собственности, не значит, что его виртуальная поверхность принадлежит вам. Это немного похоже на то, как обстоят дела с GPS: покупая дом, вы не владеете сигналами, которые транслируют спутники.

Тот же автор, что и выше, ролик 2016 года

Есть интересная книга на эту тему: Augmented Reality Law, Privacy, and Ethics. Автор приходит к тому, что любые поверхности — здания и улицы реального мира — будут по закону использоваться в коммерческих целях рекламными компаниями.

Прежде чем вы возмутитесь и скажете «Да сколько можно», я хотел бы описать две вещи, которые нам, как пользователям, будут доступны.

1. Уменьшение стоимости транспортировки

Представьте, что теперь все поезда, самолеты и такси постоянно крутят вам рекламу в окнах. Вы снимаете очки, думаете, сколько можно же, но оказывается, что реклама там вшита в окна-дисплеи.

Наверное будет плюс от такой рекламы, ведь стоимость поездки должна сильно упасть, так как никто не согласен страдать просто так. Представьте себе почти бесплатное автономное такси — вряд ли вы бы отказались заплатить за него своим вниманием.

Эту идею мне рассказал один венчурный капиталист, который общался с другим венчурным капиталистом в Лондоне, на встрече венчурных капиталистов и так далее. Скорее всего, это когда-нибудь дойдет до реальности. Обиднее всего будет, если цена на услугу не снизится.

Любопытный концепт Toyota про окна-дисплеи внутри машины и девочку которая пачкает окна, скриншот из видео

2. AR-адблок

Никто у вас никогда не сможет отнять ADBlock. Наиболее продвинутые пользователи всегда будут изолированы от каких-то раздражающих факторов — рекламы или некоторых людей.

Очевидное будущее владельца AR-очков с adblock

Лучше всего концепцию игнора людей раскрыли в сериале Black Mirror, а концепты AdBlock AR существуют еще с 2015 года.

Хороший плюс шлему — рекламу из реального мира тоже можно будет замазать

Что в итоге

2025 год просто офигительный, быстрее бы попасть туда. Основной вывод такой — что всем кто проектирует AR интерфейсы, стоит учесть то, как мы привыкли работать с объектами сразу после рождения, не подвешивать огромные меню в воздухе.

Помимо удобства и красоты AR-нативных приложений которые нас ждет, мне кажется все также останется актуальными веб-технологии — как он в свое только начинали поддерживать мобильные интерфейсы (сейчас mobile friendly стандарт индустрии веб-разработки), точно так же через какое-то время начнут поддерживать и AR-очки, размещая кнопки в каком-то удобном виде для дополненной реальности.

Если вам нравятся странные фантазии на тему того, что вряд-ли когда-нибудь случится, то у меня есть еще одна — Настоящие чат-боты, или операционная система «Телеграм».

Спасибо за внимание, увидимся на ваших ладошках 💖

#технологии #офтоп #мнения

{ "author_name": "Denis Shiryaev", "author_type": "self", "tags": ["\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438","\u043e\u0444\u0442\u043e\u043f","\u043c\u043d\u0435\u043d\u0438\u044f"], "comments": 58, "likes": 71, "favorites": 26, "is_advertisement": false, "section_name": "blog", "id": "73462", "is_wide": "1" }
Популярные материалы
Показать еще
{ "is_needs_advanced_access": true }

Популярные комментарии

Дискуссии по теме
доступны только владельцам клубного аккаунта

Купить за 75₽
Авторизоваться

Преимущества
клубного аккаунта

  • отсутствие рекламы
  • возможность писать комментарии и статьи
  • общение с членами клуба
Подробнее

Преимущества
клубного аккаунта

  • отсутствие рекламы
  • возможность читать и писать комментарии
  • общение с членами клуба
  • возможность создавать записи

Сколько это стоит?

Членство в клубе стоит всего 75₽ в месяц. Или даже дешевле при оплате за год.

Что такое клуб?

Клуб ТЖ это сообщество единомышленников. Мы любим читать новости, любим писать статьи, любим общаться друг с другом.

Вступить в клуб

Комментарии Комм.

Популярные

По порядку

0

Прямой эфир

Вы не против подписаться на важные новости от TJ?

Нет, не против
[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfk" } } }, { "id": 6, "disable": true, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byswn", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "cndo", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223677-0", "render_to": "inpage_VI-223677-0-130073047", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=cndo&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudv", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvc" } } } ]