Исследователи Google показали технологию превращения изображений из интернета в объёмные 3D-сцены Материал редакции

Для этого достаточно снимков одного объекта с разных ракурсов.

В закладки
Слушать

В Google показали технологию NeRF-W, которая позволяет создавать объёмные 3D-сцены разных мест по всему миру на основе случайных фотографий из сети. Инструмент исследователей сам «очищает» изображения от прохожих и выравнивает их по экспозиции, цвету и тону.

С помощью технологии авторы воссоздали в объёме Бранденбургские ворота в Берлине, базилику Сакре-Кёр в Париже и Фонтан Треви в Риме. Для этого они использовали только фотографии с сайтов вроде Flickr. В результате у исследователей получились детальные 3D-рендеры локаций с возможностью выбрать точку обзора вручную и изменить освещение в сцене.

NeRF-W основана на NeRF — первоначальной работе исследователей, которая позволяла делать то же самое, но работала нормально только в строго заданных контрольных условиях. Технология строит карты глубины резкости с помощью нейросетей, а потом синтезирует объёмную сцену с помощью прямого 3D-рендеринга

Сама по себе NeRF не могла работать со случайными изображениями из сети: у системы возникали проблемы из-за разных показателей света, экспозиции и пост-обработки. Кроме того, на снимках зачастую находились машины или люди, и это мешало созданию объёмной модели: на ней могли появиться «призраки», пересветы, смазанные объекты и другие артефакты.

В NeRF-W исследователи дополнили технологию, снизив её зависимость от «статичности» мира. Для корректного освещения и пост-обработки авторы использовали низкополигональную проекцию: это не только позволило моделировать освещение для конкретной фотографии, но ещё и «переосветить» сцену с новых углов.

For lighting and image post-processing, we introduce a low-dimensional embedding space controlling NeRF’s radiance field. This not only gives NeRF-W the capacity to model photo-specific lighting, it enables us to “relight” a scene from new angles. (3/n) https://t.co/zM6aaM0ohe

Для решения проблемы с объектами, которые могли попасть в часть кадров, в технологию добавили возможность построения вторичной карты глубины, которая отделяет случайные объекты от нужных. После этого «неопределённые» части изображения очищаются.

Выпускающий редактор TJ. По работе писать на damir@tjournal.ru. Личные соцсети: Twitter — для коротких быстрых мнений Facebook — для работы Instagram — красивые (и не очень) фоточки из жизни
{ "author_name": "Дамир Камалетдинов", "author_type": "editor", "tags": ["\u043d\u043e\u0432\u043e\u0441\u0442\u0438","\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f","google"], "comments": 27, "likes": 54, "favorites": 38, "is_advertisement": false, "subsite_label": "tech", "id": 196911, "is_wide": false, "is_ugc": false, "date": "Tue, 11 Aug 2020 03:24:32 +0300", "is_special": false }
Объявление на TJ
0
27 комментариев
Популярные
По порядку
Написать комментарий...
14

Бля, это же охуенно просто. Скорее бы эта тулза вышла в массы. Она позволит экономить тысячи часов в геймдеве. Не нужно будет делать сотни фоток и потом в максе часами скурпулёзно восстанавливать по фото модель. Сделал пару фоток с разных ракурсов в высоком разрешении, прогнал алгоритмом, поправил косяки топологии, если есть, оптимизировал модель и вуаля. А в связке с фичей UE 5, которая позволяет грузить модели в хай-поли и сама их оптимизирует - от открывающихся возможностей просто дух захватывает. Вот реально. Если всё это будет работать, как заявляется, то цикл разработки игр можно будет сократить с 3-5 лет до 1-2

Ответить
7

а) уже вполне развиты 3d-сканеры
б) нарисовано уже дохуища объектов
в) интересно и впечатляет то, чего нет в реальности
г(лавное) суть игр не в том, что кто-то сделал крутые 3д-модели и все охуели

Ответить
3

а) фонтан треви в сканер не засунешь
б) требования к качеству отрисовки постоянно растут
б-2) права на 3д объекты бесплатно не передаются
б-3) единой базы 3д объектов подобного уровня детализации не припомню
в) кому как
г) согласен, но речь не об этом
д) появляются новые объекты, а старые меняются

Ответить
0

а — есть архитектурные сканеры.

Ответить
4

Не нужно будет делать сотни фоток и потом в максе часами скурпулёзно восстанавливать по фото модель.

уже лет 6 не нужно, давно есть фотограмметрия
у гугла по сути тоже она

Ответить
4

Только хотел написать.
Это же фотограмметрия. Агитсофт фотоскан такое тоже делает, например. Делаешь сетку полётов, облетаешь территорию на дроне, закидываешь в прогу - вуаля. 3д карта местности / дома.
В Nerf-W важно то, что они делают карту объекта без gps-данных и т.п., причём с изменяющимися условиями освещения.
Вопрос в том, сколько им входных данных надо и сколько обработка идёт

Ответить
0

лет 5 назад видел прогу, которая делала 3д по случайному набору фоток, например фотки с концерта выложенные разными людьми, примерно то же, как и у гугла, они просто нейронкой это доработали
GPS там не нужно, там автоматом ищутся совпадение точек на фотках

точную модель конечно так не построить, это фигня для поиграться,
для более-менее качественной модели нужны хорошие условия съемки и покрытие фотками с большим перекрытием,

и у Гугла нейронка скорее-всего еще и половину дорисует отсебятины

Ответить
0

Сейчас 3д по снимкам даже телефон может сделать. Но 3д сканнеры никуда не делись, т.к. качество несопоставимое.

Совпадение точек тебе позволяет склеить панорамы и подобные изображения, если знать особенность линз, на которые делался снимок. Иначе будут очень серьёзные искажения.

"покрытие фотками с бОльшим перекрытием" - миф. При съёмках фотограмметрии большое перекрытие даёт больше ошибок, чем перекрытие в 15-20%.

На видео доступно показано качество получаемого видео, где там "половина отсебятины дорисовано"?

Ответить
0

"покрытие фотками с бОльшим перекрытием" - миф

Это не миф, все основные проги фотограмметрии находят расположение снимков по совпадениям точек, что agisoft, что reality capture.

Насколько помню сами agisoft советуют перекрытие 30-50%

И с перекрытием 15-20% нормального 3D не получится. Чтобы рассчитать 3д модель объекта _каждая_ его точка должна быть на нескольких снимках, минимум на двух, лучше больше.

Если точка будет только на одном фото, то 3д в этом месте восстановить не получится, в облаке точек в этом месте будет дыра, которая потом закроется заплаткой.

Сейчас 3д по снимкам даже телефон может сделать

например?

Ответить
0

Я делал фотограмметрию. у агитсофта довольно слабые результаты при перекрытии в 50%

3д делает самсунг и сонька,  у них встроенное по для этого есть

Ответить
0

Так я тоже делал ) и результаты хорошие.
По аэросъемке agisoft вообще пишут, что перекрытие должно быть 70%.

3д делает самсунг и сонька, у них встроенное по для этого есть

вряд ли там фотограмметрия, сейчас в телефоны 3d камеры встраивают, по типу intel realsense, это аппаратный 3d сканер, софт только сшивает сканы с разных ракурсов

в телефонах это называют Depth Sensor Camera

Ответить
0

А, ну в телефонах не фотограмметрия, да. я такого не говорил.

А с агитсофтом - ну, значит, у меня руки кривые

Ответить
0

Reality Capture кстати нагибают агисофт )

Ответить
0

У них не было бесплатной версии,  когда я смотрел

Ответить
1

первая версия была с пробным периодом, как щас не знаю, и там обязательно нужна карта NVidia c CUDA

кстати почитал про технологию Google, там не фотограмметрия и 3D они не получают

они по фоткам восстанавливают световое поле, это только иллюзия 3D, это особо не интересно
например поменять свет и получить правильные тени там не получится

я выше про вот этот софт писал https://www.cs.cornell.edu/~snavely/bundler/
там тоже по фоткам из сети, но делают честную фотографметрию с 3D объектом

Ответить
0

Понятно
Нужна ли чистая фотограмметрия или нет - это вопрос использования конечного продукта.

Ответить
4

Вспомни что такое Next Gen в 2021, а теперь забудь про то что написал

Ответить
1

Точно такие же мысли.

Ответить
11

Это классно, если таким образом можно будет воссоздать старинные города. Очень много снимков начала 20-ого века с прекраснейшей, но утраченной архитектурой.

Ответить
0

Всё-таки, недостаточно.
Сначала нужна нейронка, которая автоматически найдёт эти снимки, потом другая, которая автоматически ретуширует их. Третья раскрасит. Четвёртая сделает красивые видосики.
Пятая прокромментирует сюда, что "это уже 30 лет как каждый школьник делает"

Ответить
3

Какие ещё блять исследователи гугл, вы видели че там в Беларуси творится

Ответить
2

Я здоров

Ответить

Предвыборный диод

4

Хотел было саркастично заехать, что в гугле переизобрели фотограмметрию, а они и правда переизобрели. 

Ответить
1

Если они научились собирать сцену из рандомных обработанных фоточек без exif, тогда да, это прорыв, а если нет, то это очередная инкарнация structure from motion

Ответить
3

Ого, не Беларусские новости

Ответить
1

нет времени сейчас это читать

Ответить
Обсуждаемое
Новости
Эммануэль Макрон призвал Александра Лукашенко добровольно покинуть пост президента
«Очевидно, что Лукашенко должен уйти», — сказал Макрон журналистам в преддверии своего визита в Литву и Латвию.
Новости
Армения ввела военное положение и объявила всеобщую мобилизацию после обстрела Нагорного Карабаха
Москва призвала стороны приступить к переговорам в целях стабилизации ситуации.
Разборы
В Нагорном Карабахе обострился конфликт между Арменией и Азербайджаном — десятки людей погибли. Главное
Страны обвиняют друг друга в начале военных действий, провокациях, использовании сирийских наёмников и убийстве мирных жителей.
Популярное за три дня
Новости
Der Spiegel: Меркель тайно навестила Навального в «Шарите»
Издание заявило, что таким «жестом» канцлер Германии подчеркнула «солидарность немецкого правительства» с основателем ФБК.
Кино и сериалы
Вторая жизнь «Бегущего по лезвию» и «Нечто»: фильмы, которые провалились в прокате, но обрели культовый статус
Ленты нелёгкой судьбы: они потерпели неудачу во время официального релиза, но обзавелись армией поклонников и изменили облик кинематографа.
Новости
Полиция Вьетнама изъяла более 300 тысяч использованных презервативов. Их стирали и продавали повторно
За килограмм обработанных презервативов работница склада получала 17 центов.

Комментарии

null