«Яндекс.Диск» научился распознавать текст на изображениях

В «Яндекс.Диске» появилась возможность искать изображения, содержащие текст поискового запроса. Об этом TJ сообщили представители компании.

Для того, чтобы найти нужное изображение формата jpeg, gif или png в «Яндекс.Диске», достаточно будет ввести в поисковую строку слово, встречающееся на картинке. Также в результатах поиска будут указаны файлы и папки, в названиях и описаниях которых оно присутствует, и документы, в тексте которых содержится.

Когда на «Диске» тысячи фотографий, разложенных по разным папкам, поиск по текстам позволит быстро найти среди них нужную. Например, скан договора с названием вроде scan723.JPG или фотографию визитки человека, с которым понадобилось связаться.

пресс-служба компании «Яндекс»

В основу поиска текстов на изображениях положена технология оптического распознавания символов. «Яндекс» не стал пользоваться ни одним из уже существующих решений, а разработал собственную систему, которая умеет опознавать текст на разных по содержанию и качеству картинках.

Она состоит из двух частей: классификатора картинок и модуля распознавания. Классификатор отбирает из всех изображений содержащие текст, а специальный модуль разбивает линии текста на отдельные символы, для каждого из которых выбирает несколько наиболее вероятных вариантов. После этого алгоритм языковой модели принимает решение, какой из выбранных символов подходит больше, чем остальные. Например, если из нескольких вероятных символов получается слово, уже известное системе, она может принять решение, что на картинке изображено именно оно.

Специалисты «Яндекса» уточняют, что точность распознавания зависит от таких факторов, как чёткость изображения, его тип и фон, на котором расположены буквы. Поэтому для отсканированных документов она достигает показателя в 80%, для скриншотов приближается к 100%, а для фотографий с надписями составляет более скромные 63,2%. Работа над улучшением качества распознавания на момент публикации этой новости продолжается.

Существует множество систем распознавания текстов на изображении. Некоторые из них предназначены для частных случаев — например, Photoscore Ultimate распознаёт рукописные музыкальные партитуры. Другие универсальны — такие как решения Evernote или ABBYY FineScanner.