Исследователи MIT научили компьютер предсказывать действия людей лучше самих людей

В MIT разработали алгоритм анализа массивов данных Data Science Machine, умеющий самостоятельно выбирать из имеющихся параметров релевантные для предсказаний будущих тенденций. По результатам тестов он обошёл в точности прогнозов большинство людей, перед которыми были поставлены аналогичные задачи. Об этом сообщает MIT News.

Факультет электротехники и компьютерных наук MIT. Фото MIT News

Для проверки работы системы исследователи MIT провели три отдельных соревнования, в которых помимо компьютера участвовало ещё 906 команд, сформированных из людей.

Data Science Machine обогнал 615 из них: в одном из случаев точность прогноза алгоритма составила 96% от показателя лидера, во втором — 94%, в третьем — 87%. При этом «человеческие» команды составляли свои методики для предсказаний в течение нескольких месяцев, а Data Science Machine сделал это за срок от двух до 12 часов.

В одном из случаев командам нужно было на основе данных о посещениях студенческого сайта MIT определить вероятность того, отчислят ли студента из института в течение следующих десяти дней. Выяснилось, что главными факторами было то, за какое время до дедлайна студент начинает работать над какой-либо задачей, и насколько больше времени он проводит на сайте, изучая конкретный предмет, чем его одногруппники. Сайт MIT не записывал эти показатели напрямую, однако Data Science Machine — и другим участникам эксперимента — удалось получить их через анализ всего массива данных.

В другом соревновании нужно было спрогнозировать эффективность размещения ветряных электростанций на основе данных от метеорологических станций. Data Science Machine смогла получать в три раза более точные предсказания работы электростанций на два года вперёд, чем делают профессиональные консультанты-аналитики в области энергетики.

Главной задачей Data Science Machine является выбор наиболее значимых для исследования переменных. Программисты не задают их вручную: алгоритм определяет их сам, проводя анализ корреляции между различными данными и используя машинное самообучение.

Например, в распоряжении системы может оказаться несколько баз данных с записями об определённых покупках. В одной из них могут быть две колонки: артикул товара и его цена. В другой — список покупок конкретного покупателя.

Сравнивая эти две базы, система обнаружит одинаковые артикулы и построит зависимость: на её основе Data Science Machine сможет высчитать общую сумму заказа, средний чек, минимальный чек и другие переменные, которые помогут в дальнейших предсказаниях. Впоследствии алгоритм перебирает и комбинирует эти переменные, делая предсказания на основе небольшого массива данных и постепенно улучшая показатель точности.

Создатели Data Science Machine — Макс Кантер (Max Kanter), который пишет диссертацию по своему алгоритму, и его научный руководитель Калян Вирамачанени (Kalyan Veeramachaneni), исследователь лаборатории компьютерных наук и искусственного интеллекта MIT. Более подробное описание Data Science Machine они собираются представить на конференции IEEE International, которая пройдёт в Париже с 19 по 21 октября.