Персонализированная программа «глубокого обучения» позволяет роботам проводить терапию аутизма

 

Одна из трудных задач для детей с аутизмом — это распознавание эмоционального состояния другого человека. Некоторые терапевты для преодоления этой сложности используют роботов, которые демонстрируют определенные эмоции и вовлекают ребенка в имитацию этих эмоций и адекватную реакцию на них.

Такая терапия работает лучше всего, если робот может интерпретировать поведение ребенка, т.е. распознать, насколько ребенок внимателен и заинтересован в процессе терапии. Ученые из лаборатории Массачусетского технологического института (MIT Media Lab) разработали персонализированную систему «глубокого обучения» робота с целью оценки уровня вовлеченности ребенка и интереса к общению с роботом. Они использовали уникальную информацию о каждом ребенке.

В исследовании принимали участие 35 детей с аутизмом, 17 из Японии и 18 из Сербии в возрасте от 3 до 13 лет.

Терапевты демонстрировали каждому ребенку фотографии и карточки лиц с различными эмоциями, чтобы научить их распознавать страх, грусть, радость и т.д. Затем они программировали робота на демонстрацию этих же эмоций ребенку и наблюдение за реакцией ребенка. Поведение ребенка давало обратную связь, которая необходима для терапевта для продолжения сессии. Исследователи использовали гуманоидных роботов NAO компании SoftBank Robotics. Их высота примерно 60 см и внешне они напоминают супергероя или дроида. Роботы передают различные эмоции через изменения цвета глаз, движение конечностями и голосовые интонации.

В течение 35-минутных сессий дети по-разному реагировали на роботов. В некоторых случаях они выглядели скучными и сонными, в других — прыгали от возбуждения и хлопали в ладоши, смеялись и дотрагивались до робота.

Большинство детей реагировали на робота не просто как на игрушку, а как на реального человека, обращаясь с ним уважительно. Особенно это проявлялось в процессе работы над воображаемыми ситуациями, например, когда терапевты спрашивали ребенка, как почувствует себя робот, если его угостить мороженым.

Огги Рудович, ведущий автор исследования, считает, что роботы очень полезны в работе с аутичными детьми, так как они помогают привлечь внимание ребенка, что во многих случаях является очень непростой задачей для терапевта. Кроме того, роботы несколько упрощают для ребенка задачу распознавания эмоций, т.к. они меняют свои эмоции структурированно и не так внезапно, как люди.

Для создания программы распознавания эмоций ребенка по его поведению ученые использовали систему «глубокого обучения». Она основана на множественных иерархических слоях обработки данных, при этом каждый последующий слой является несколько более абстрактной презентацией первоначальных «сырых» данных. Такого рода система применяется, например, в программах распознавания речи или визуального распознавания объектов, и она хорошо подходит для понимания значения различных изменений черт лица, тела и голоса при оценке более абстрактных характеристик, таких как уровень вовлеченности ребенка.

Рудович и его коллеги подняли систему глубокого обучения еще на одну ступеньку вверх: они создали персонализированные системы для каждого из детей, участвовавших в исследовании, основанные на их индивидуальных данных. Ученые собрали видео о том, как меняются их выражения лица, позы и жесты, а также данные о физических изменениях (сердечные ритмы, выделения пота, температура тела и т.д.) в зависимости от эмоционального состояния.

Корреляция между оценками состояния ребенка, сделанными роботом и терапевтом составила 60%. Для сравнения: когда два человека наблюдают поведение ребенка, их оценки вовлеченности ребенка коррелируют на уровне 50-55%.

Интересно, что в процессе эксперимента ученые установили культурные различия между детьми. Например, японские дети демонстрировали больше движений в моменты большей вовлеченности, в то время как сербские дети больше двигались в моменты ослабленного внимания.

Personalized machine learning for robot perception of affect and engagement in autism therapy. Science Robotics 27 Jun 2018: DOI: 10.1126/scirobotics.aao6760

MIT News. Personalized “deep learning” equips robots for autism therapy