Twitter внедрил нейросети для обрезания интересных превью у картинок

Компания нашла изящное применение машинному обучению.

Для создания интересных превью к изображениям Twitter стал использовать нейросети, обученные на данных академических исследований. Система «знает», какая часть изображения представляет интерес и концентрируется на ней при создании предпросмотра. Об этом инженеры Twitter рассказали в блоге компании.

Функция работает уже некоторое время, но о ней сообщили только сейчас. В начале разработчики использовали распознавание лиц, но это работало только с фотографиями, на которых есть лица, и не помогало обрезать изображения с пейзажами, животными и другими объектами.

Тогда инженеры решили обрезать картинки с учётом «значимости» и оставлять только самые интересные детали вне зависимости от того, что на них изображено. Разработчики использовали нейросеть, которую натренировали на данных из исследований о том, куда люди смотрят на изображениях в первую очередь. На основе этих данных алгоритм научили предугадывать, что пользователям интереснее всего увидеть.

После обучения нейросети разработчики столкнулись с проблемами оптимизации: система работала слишком медленно, чтобы обрезать изображения в реальном времени. Инженеры избавились от областей системы, которые слишком долго «думали», но незначительно влияли на производительность. Также они упростили принцип работы алгоритма: он перестал анализировать изображение попиксельно и стал смотреть на него «в целом».

Итоговый результат работает в 10 раз быстрее первой версии и обеспечивает автоматическое обрезание изображений для превью в реальном времени. Функция уже «некоторое время» работает для всех пользователей в приложениях iOS и Android и в веб-версии.

#нейросети #технологии #соцсети