Не просто «чёрные ящики»: как нейросети применяют не для замены людей, а для изучения работы мозга

Модели, часто критикуемые за непрозрачные алгоритмы, отлично подходят для исследований в неочевидных, на первый взгляд, целях.

В 2011 году в глубоком обучении произошла революция, после чего нейросети превзошли людей в распознавании объектов. С тех пор человечество всё больше полагается на глубинные нейросети или Deep neural networks. Их применяют в беспилотных автомобилях, смартфонах, соцсетях и многих повседневных вещах.

Однако с развитием глубокого обучения усилилась и критика такого подхода. Самая частая претензия, которую начали предъявлять нейросетям — их непрозрачность: зачастую даже сами исследователи не в курсе, как именно алгоритмы принимают решение. Но группа исследователей в Стэнфордском университете решила использовать эту особенность нейросетей на пользу науке — для изучения работы человеческого мозга. На это обратили внимание в Quanta Magazine.

Глубинные нейросети отличаются от привычных нейронных сетей тем, что используют множество уровней для постепенного извлечения информации из необработанных данных. Это позволяет им быть более гибкими, универсальными в применении и моделировать более сложные данные с меньшим количеством ресурсов. Например, при обработке изображения одни уровни такой нейросети могут распознавать области по краям, а другие — определять лица, текст или цифры.

Глубокие нейронные сети можно научить выявлять закономерности, например, определённых животных на изображениях. В процессе обучения алгоритм сам отрегулирует связи между виртуальными «нейронами» и научится связывать входные данные с корректной меткой. В идеале глубинную нейросеть после единоразовой тренировки можно использовать для распознавания данных, которые она никогда не видела.

Один из главных прорывов в работе над нейросетями с глубоким обучением произошёл в 2011 году. Тогда доктор наук в вычислительной нейробиологии MIT Дэниел Яминс создал систему, которая могла бы распознавать объекты на изображениях вне зависимости от их размеров, позиции и других свойств — то, что с лёгкостью даётся людям, но в те годы ещё не удавалось машинам.

Работа Яминса стала выдающимся достижением в области искусственного интеллекта и в том числе обеспечила им такое мощное развитие в течение нескольких следующих лет. Но для учёного и его коллег-нейробиологов система оказалась поворотным моментом по другой причине — она позволила серьёзно приблизиться к разработке вычислительных моделей функций мозга.

В итоге Яминс и его советник Джеймс Дикарло возглавили лабораторию в Стэнфордском университете, где нейросети используют не для того, чтобы превзойти людей или облегчить им жизнь, а чтобы лучше понять, как работает человеческий мозг.

Учёные пытались понять, как именно мозг специализируется на разных задачах, почему разные его части отвечают за разные вещи, а также почему именно за них. Например, исследователи задавались вопросом, зачем мозгу отдельная зона не только для распознавания объектов, но и отдельно для распознавания лиц. Ответ нашли в нейросетях с глубоким обучением — оказалось, что такая компоновка, вероятно, наиболее эффективный способ решения задач.

Учёные также обнаружили, что глубинные нейросети, распознающие речь, музыку и симулированные запахи, аналогичны слуховым и обонятельным системам мозга. Такие же сходства нашли и в нейросетях, которые могут изучить 2D-изображение и выявить свойства 3D-объектов внутри него. По мнению учёных, это помогает понять, как именно биологическое восприятие может быть таким быстрым и одновременно богатым.

Подобные находки вдохновили и других учёных. Как рассказала изданию Quant нейробиолог Нэнси Канвишер (Nancy Kanwisher), никто в её лаборатории до недавнего времени не работал с глубоким обучением из-за скептического отношения к сравнению с реальным мозгом. «Теперь большинство из них регулярно тренируют такие нейросети», — пояснила учёная.

На распознающие визуальную информацию нейросети на самом деле серьёзно повлияла зрительная система приматов — ей вдохновлялись исследователи, которые работали над подобными системами. У людей путь распознавания изображений начинается в глазах, проходит через таламус в центре мозга, уходит в тыловую часть, а потом возвращается в височную долю.

Для нейробиологов ключевым стало осознание того, что в мозгу визуальная информация обрабатывается в несколько этапов, построенных по определённой иерархии. На начальных этапах распознаются низкоуровневые концепции вроде краёв, контуров и форм, а более сложные, например, целые объекты и лица, появляются в самом конце.

На основе этих идей в 2011 году Яминс с коллегами и создали нейросеть с глубоким обучением, которая успешно распознавала восемь категорий объектов в разных позах, позициях и размерах. Система работала с животными, лодками, машинами, стульями, лицами, фруктами, самолётами и столами и была натренирована всего на 5,7 тысячах фотореалистичных 3D-изображений. Но даже в таком виде показывала результаты не хуже людей.

Однако в 2012 году нейросеть AlexNet от других разработчиков обошла разработку Яминса, победив в ежегодном конкурсе распознавания изображений. Тогда он придумал, как поквитаться с конкурентами — исследователи решили не просто распознавать изображения, а предсказывать реакцию мозга живых существ.

Учёные выяснили, что активность искусственных нейронов в их системе похожа на активность зрительной системы макак. И заставили нейросеть предсказывать, как мозг обезьян отреагирует на изображения, не являющиеся частью данных, на которых тренировали нейросеть. Учёные не только получили достаточно точные предсказания, но ещё и поняли, что нейросеть в процессе копировала поведение мозга макак. «Форма последовала за функцией», — отметил Яминс.

После первых опытов со зрительной системой начали «охоту» на другие области мозга, изученные намного меньше, чем зрение. Например, слух: исследователи искали способ распознавать музыку и речь, не используя больших ресурсов.

Для этого разработали систему, которая повторяла устройство уха и, перед тем, как отдать звук нейросети, сортировала его по разным частотным диапазонам. Самым эффективным вариантом оказалось использовать гибридный подход: архитектуру, которая состояла одновременно из общих и специализированных слоёв. Нейросеть исследователей выдержала проверку в задачах с людьми и в ключевом тесте в 2018 году смогла предсказать активность мозга человека.

Канвишер после работ лаборатории Яминса решила выяснить, почему мозг выделяет отдельный процесс для распознавания лиц в отличие от других объектов. Для этого она с коллегами обучила две нейросети отдельно для распознавания лиц и объектов: так выяснилось, что по отдельности нейросети плохо распознают целевые изображения друг друга.

Однако когда Канвишер обучила одну сеть выполнению обеих задач, она обнаружила, что нейросеть сама организовались по аналогии с мозгом и разделила процессы распознавания. Сначала она размечала простые объекты, а более сложные формы вроде лиц, начала распознавать только на послдених этапах.

Исследователи из Колумбиийского университета также обнаружили сходства с обонятельной системой плодовых мух при попытке распознавать запахи. Изначально их пытались распознавать как изображения, но ключевым стало понимание того, что мозг живых существ работает с запахами не так, как с визуальной информацией.

Если смешать два похожих изображения кошки, то результат может оказаться непохожим на кошку, но если понюхать два яблока, то они, скорее всего, будут пахнуть идентично. Результатом стала система, близкая к мозгу плодовой мухи. По мнению исследователей, это доказывает, что и эволюция, и глубокое обучение пришли к оптимальному решению.

Нейробиологи признали, что работа нейросетей с глубоким обучением зачастую не поддаётся пониманию даже для тех, кто их создавал. «Но изучать их всё ещё проще, чем мозг», отметили учёные. Подобные исследования могут помочь при терапии некоторых заболеваний, например, при потере слуха. Ведь сейчас, когда подобное происходит, слуховой системе остаётся лишь работать с ошибочными входными данными.

Сейчас Яминса из MIT интересует, как можно обучать модели без размеченных данных, ведь люди же вполне успешно учатся на единственном примере. Учёный в том числе разрабатывает алгоритмы с более похожими на биологические правилами обучения.

Джош Тененбаум из MIT считает модели на основе глубокого обучения реальными шагами к прогрессу, но отмечает, что они в основном классифицируют и категоризируют объекты. Мозг человека способен на куда большее, в том числе на выводы в реальном времени о том, что произошло, и причинно-следственные связи.

Чтобы больше узнать об этой способности мозга, Тененбаум и его коллеги создали систему, которая генерирует 3D-свойства для объектов на незнакомой 2D-картинке. Она работает от обратного и пытается прийти от следствия к причине — от 2D-изображения до 3D-сцены, которая его создала. Результаты работы нейросети показали макакам и обнаружили сходства в их процессе обработки данных.

По мнению исследователей, это в том числе доказывает, что мозг использует комбинацию генеративных и распознающих моделей не только для опознания объектов, но и для мгновенного вывода о причинах их появления в поле зрения. Это не обязательно означает, что нейросети и мозг работают одинаково, но может позволить взглянуть на это с более технически тонкой стороны, подытожили учёные.

#нейросети #биология