Нейросеть DALL-E заподозрили в создании своего языка. Оказалось, что это случайный набор букв с элементами латыни

В кодировке нейросеть используются термины на латыни.

Пользователь твиттера @giannis_daras заподозрил, что нейросеть DALL-E, генерирующая картинки по текстовому описанию, имеет секретный язык. Он сделал запрос: «Два фермера говорят об овощах с субтитрами» и получил изображение, на первый взгляд, c бессмысленным текстом «Vicootes» и «Apoploe vesrreaitars».

Следом пользователь дал нейросети запрос «Vicootes» — и DALLE-2 выдала ему блюда с овощами. А по запросу «Apoploe vesrreaitars» получились птицы. На основе этого пользователь сделал вывод, что, похоже, фермеры говорят о птицах, которые возятся со своими овощами.

Другой пример: по запросу «Два кита говорят о еде с субтитрами» получается изображение с написанным на нем текстом «Wa ch zod rea». Если вбить такой запрос DALL-E, то та выдаёт картинки блюд с морепродуктами.

Тестировщик отметил, что некоторые слова из «языка» DALL-E можно использовать для создания абсурдных подсказок. Например, запрос «картина Apoploe vesrreaitais» даёт изображение птицы. Пользователь сделал предположение, что «Apoploe vesrreaitais» означает для модели «нечто, что летает» и может использоваться в самых разных стилях.

Если теория верна, то «Apoploe vesrreaitais» означает «птицы»; «Contarra ccetnxniams luryca tanniounons» означает жуков или вредителей; «Vicootes» означает «овощи».

Другой тестировщик, @BarneyFlames, взглянул на кодировку имени, которую DALL-E использует для обозначения птиц. Это «apo, plo, e, ve, sr, re, ait, ais». Apo-didae и Ploceidae — это латинские названия семейства птиц, каждое из которых насчитывает более 100 видов. А Apo-diformes — крупнейший отряд птиц, насчитывающий более 400 видов птиц.

Более того, оказалось, что часто нейросеть выдаёт обычную тарабарщину — при проверке, отнюдь не на все запросы DALLE-2 выдавала что-то, что соответствует описанию на «секретном» языке.

Например, как утверждал пользователь @giannis_daras, «Contarra ccetnxniams luryca tanniounons» означает жуков или вредителей. Однако по этому запросу у другого пользователя, @benjamin_hilton, DALL-E выдала много разных животных.

Кроме того, ключом к заявлениям о «секретном языке» DALL-E является то, что эти термины применяются ко всем подсказкам DALL-E, в том числе в более сложных, когда, например, идёт запрос на изменение стиля. Однако если добавить к тексту «Contarra ccetnxniams luryca tanniounons» «3D-render», то в 3D получаются объекты, связанные с морем — а совсем не жуки.

А запросы «Contarra ccetnxniams luryca tanniounons, cartoon« (то есть задание нарисовать всё в мультяшном стиле) и «Contarra ccetnxniams luryca tanniounons, painting» (в стиле живописи) почему-то выдают пожилых женщин.

Примечательно так же, что если добавить к запросу «Apoploe vesrreaitais» (что якобы означает на языке DALL-E «птицы») , уточнения стиля, то нейросеть начинает показывать результаты с жуками.

Как утверждал @giannis_daras, «Vicootes» означает «овощи». Но если уточнить стиль изображения, то нейросеть выдаёт совсем другое — странных персонажей, случайные объекты, цветы и пейзажи.

Иными словами, очень похоже на то, что никакого «секретного языка» у нейросети нет. Некоторые запросы могут быть подкреплены реальными названиями видом на латыни, но в большинстве случаев это — рандом.

Заставить нейросеть выдать картинку с каким-либо текстом тоже оказалось не так уж просто. В примере @giannis_daras используется фраза «Два кита говорят о еде с субтитрами». Но когда пользователь @benjamin_hilton попробовал сделать то же самое, нейросеть очень долго не выдавала ему варианты с хоть сколько-то разборчивым текстом. Пока, наконец, не показала вот это:

Если исходить из того, что у DALL-E есть собственный язык, то «Evve waeles» должно означать что-то связанное с едой, китами или морем. На деле же по такому запросу нейросеть выдала десерты, футболистов, животных и чайник.

#dalle2 #нейросети