Технологии

Что ещё умеет нейросеть DALL-E 2: галерея с новыми примерами изображений от ИИ — удачными и не очень, проблемы и шутки

Главная претензия к ИИ связана со стереотипами, предвзятостью, сценами насилия и порнографией. Это типично, ведь нейросети «скормили» миллионы изображений из интернета.

Фото бокалов с напитками, сгенерированных нейросетью. Изображение @djbaskin

В начале апреля OpenAI начала тестировать DALL-E 2 — обновлённую версию нейросети, впервые представленную в январе 2021 года. Программа теперь генерирует более качественные изображения, чем предыдущая версия, опираясь лишь на описание на английском языке. Она также может редактировать фотографии, добавляя на них новые предметы и создавать новые рисунки на основе существующих и делать их в духе оригинала. TJ уже рассказывал о первых результатах работы нейросети.

https://tjournal.ru/post/584266

Однако есть риск, что люди будут использовать DALL-E 2 и другие подобные ИИ для создания, к примеру, порнографии или политических дипфейков. Более того, нейросеть укрепляет вредные стереотипы и предубеждения, что может усугубить некоторые социальные проблемы.

Дело в том, что, как это типично для систем искусственного интеллекта, DALL-E 2 унаследовал предвзятость от корпуса данных, используемых для его обучения: миллионы изображений, взятых из интернета, и соответствующих им подписей. Именно поэтому по запросу «юрист» он выдает сплошь фотографии мужчин в костюмах, а по запросу «стюардесса» — улыбающихся женщин (правда, с деформированными чертами лица).

Есть и более серьёзные примеры: ИИ демонстрирует предвзятое отношение к определённым группам, таким как мусульмане, которых он непропорционально связывает с насилием и терроризмом.

OpenAI знает, что DALL-E 2 генерирует результаты, демонстрирующие гендерную и расовую предвзятость: приведённые выше примеры взяты из собственного документа компании «Риски и ограничения».

Github

Исследователи OpenAI предприняли несколько попыток решить проблемы предвзятости и справедливости. Но они не могли эффективно искоренить эти проблемы, потому что разные решения приводят к разным компромиссам.

Например, исследователи хотели отфильтровать сексуальное содержание из обучающих данных, потому что это могло привести к несоразмерному вреду для женщин. Но они обнаружили, что, когда они попытались отфильтровать это, DALL-E 2 генерировал меньше изображений женщин в целом. Это нехорошо, потому что это приводит к другому виду вреда для женщин — стиранию.

Предвзятость — это огромная отраслевая проблема, на которую нет надёжного ответа. Поэтому большая часть работы сейчас заключается в том, чтобы просто открыто и заранее сообщать пользователям об оставшихся ограничениях.

Для борьбы с проблемой предвзятости разработчики DALL-E 2 создали так называемую «красную команду». Её задача — найти в нейросети как можно больше недостатков и уязвимостей, чтобы систему можно было улучшить. Всего же доступ к ИИ сейчас имеет около 400 человек — сотрудники и членов совета директоров OpenAI, а также специально отобранные учёные и художники.

Предоставление доступа ограниченной группе пользователей позволяет учить ИИ генерировать более непредвзятые изображения.

Ниже мы опубликовали примеры изображений, получившихся после того, как нейросети «скормили» текстовые описания. Подписи приведены или дословно, или близко к оригиналу.

Получившиеся изображения те публикуют в твиттер — среди них много мемов и шуток

«Средневековые рукописи, изображающие изобретение интернета»

«Чувак из четвёртого века с каменным лицом, застрявший в пробке»

@dbonneville

«Кот-пицца»

@PizzaDalle

«Статуя, поскользнувшаяся на льду»

«Кот — американский президент»

@Merzmensch

«Картина маслом с Генри VIII за диджейским пультом в ночном клубе»

Тестовая группа также тренирует ИИ работать с архитектурными объектами. Получается не всегда

Саграда Фамилия в Барселоне

@TLBingoGreen

«Городские пейзажи из Half-Life»

Один из неудачных примеров — модернизация дома в викторианском стиле

«Японская улица»

@Merzmensch

DALL-E 2 хорошо справляется с подражанием, стилизуя изображения

«Ничего в стиле Рене Магритта»

«Женщина звонит по телефону в стиле Китагавы Утамаро»

«Воспоминание о ностальгии, сюрреалистическая картина Дали»

Изображения в стиле Джорджо де Кирико

«Писательница продумывает основной сюжет своей книги, живопись маслом, в стиле Шпицвег»

Нейросеть даже может выдавать философско осмысленный контент

«Мыслитель в стиле Каспара Давида Фридриха»

«Фотореалистичная метафора первой любви в контексте социологической феноменологии»

@Merzmensch

Тестовая группа, похоже, запустила флешмоб с надписью «Доброе утро»

«„Доброе утро”, написанное на плато Наска на юге Перу, вид с воздуха»

@Merzmensch

«Доброе утро» в стиле зарисовок да Винчи

@Merzmensch·

«Доброе утро» в стиле Энди Уорхола

@Merzmensch

«„Доброе утро” как агитационный плакат с видом на город-антиутопию».

@Merzmensch

#openai #нейросети #dalle2