DeepPavlov и Наносемантика преодолели технологический барьер

3 февраля 2022 года на церемонии награждения в «Точке кипения – Коммуна» в Москве были подведены итоги второго цикла технологического конкурса Up Great ПРО//ЧТЕНИЕ по созданию систем искусственного интеллекта для проверки сочинений школьников. 

Команда DeepPavlov заняла первое место среди разработчиков, преодолев технологический барьер по английскому языку,  и выиграла приз в 80 млн рублей. Им удалось создать искусственный интеллект, который решает задачи технологического конкурса с эффективностью 107% по сравнению с результатами проверки реальным учителем. Кроме этого, разработка команды способна обрабатывать одно эссе со скоростью меньше минуты.

«В основе нашего решения мы применяли продукты лаборатории, в том числе DeepPavlov Agent. Этот подход позволил объединить множество моделей разного типа в «комбайн». Однако, мы заметно выросли после участия в первом цикле и работали не просто над быстрым решением с большим выигрышем, а над согласованным и стабильным решением, выявляющим разные типы ошибок, которые не учитывали прошлый раз», — рассказал капитан команды DeepPavlov Денис Кузнецов, — в дальнейшем мы надеемся, что это решение станет облачным сервисом, доступным для учителей всей России. Конечно, от испытаний в конкурсе до готового продукта нужно будет пройти еще определенный путь, но мы верим, что сервис поможет преподавателям ускорить проверку работ, уменьшить количество рутины и будет полезен для аналитических целей».

Все участники команды DeepPavlov — сотрудники Лаборатории нейронных систем и глубокого обучения под руководством Михаила Бурцева. Капитаном команды выступил Денис Кузнецов, существенный вклад в решение также внесли Дмитрий Карпов, Алексей Сорокин и Анастасия Кравцова. 

Михаил Бурцев, заведующий Лабораторией нейронных систем и глубокого обучения МФТИ: «Мы очень рады, что удалось создать лучшую систему для проверки эссе на английском и занять не просто первое место в номинации, а преодолеть поставленный технологический барьер конкурса всего за год! Надеюсь, что мы сможем и в дальнейшем принять участие в конкурсе и попробовать свои силы в русском языке. А для тех, кто хочет попробовать свои силы в нашей команде и поработать над реальными задачами, мы проведем летнюю школу Russian Deep Learning Summer School, где расскажем, как строить системы на основе искусственного интеллекта».

Команда «Наносемантики» стала одной из двух команд, преодолевших технологический барьер в конкурсе по английскому языку, и получает крупный денежный приз — 20 млн рублей. Для сочинений на русском языке технологический барьер пока не преодолен, но «Наносемантика» заняла первое место в специальной номинации «Структура» (12 миллионов рублей). 

Конкурсы Up Great проводятся в рамках Национальной технологической инициативы. Их задача — стимулировать преодоление технологических барьеров в различных отраслях; для этого участники «должны найти прорывное решение сложнейших технологических задач глобального масштаба». Про//Чтение — уже пятый такой конкурс, но преодоление технологического барьера зарегистрировано впервые.

Главная задача конкурса заключалась в разработке автоматического решения для проверки сочинений по ЕГЭ на русском и английском языке. Программные решения участников должны были обработать 500 сочинений и загрузить на сервер конкурса разметку в формате JSON с описанием обнаруженных в сочинении структурных блоков (проблема, аргумент, позиция и т. п.) и ошибок. На каждое сочинение давалось не более минуты (у команды «Наносемантики» проверка сочинений на русском языке заняла в среднем менее 4 секунд, на английском — чуть более 7 секунд). Результаты проверки от алгоритма должны были быть «неотличимы» от результатов проверки сочинения специалистами по соответствующему предмету. 

Сочинение — единственное задание в рамках единых государственных экзаменов по русскому языку, литературе, истории, обществознанию и английскому языку, которое проверяется не автоматически, а вручную, экспертами. При этом учитывается соответствие структуры сочинения заданию, наличие в нём грамматических, стилистических, логических, смысловых, терминологических, фактических и других ошибок. 

Разработчики «Наносемантики» создали искусственный интеллект, который решил задачу технологического конкурса с эффективностью 105,49% по сравнению с результатами проверки от учителей-экспертов, и занял на конкурсе по английскому языку второе место. Первое место досталось команде DeepPavlov (107,12%). 

Для сочинений на русском языке «Наносемантика» возглавила лидерборд с показателем 89,48% — и продолжит борьбу за взятие уже второго технологического барьера в следующих циклах конкурса, который должен завершиться до конца 2022 года. Осталось чуть больше 10% — но, как показывает опыт, они самые сложные: чем ближе к 100%, тем с большим трудом дается дальнейшее продвижение. 

Своим успехом «Наносемантика» во многом обязана опыту, накопленному при разработке многофункциональной системы проверки правописания на русском, английском и других языках ОРФО. А решения, найденные в рамках конкурса, в свою очередь, послужат развитию технологий ОРФО.

Полученный приз, 32 миллиона рублей, «Наносемантика» планирует потратить на развитие лингвистических технологий — прежде всего, интеллектуальных систем проверки грамматики и стилистики для русского и английского языков. 

Станислав Ашманов, генеральный директор компании «Наносемантика»:

«Наш коллектив 30 лет двигается к пониманию естественного языка: мы учим машину говорить, находить ошибки в речи человека, генерировать тексты - все наши эксперименты в этой сфере делают нас сильнее и открывают новые возможности. Без наших наработок в сфере понимания естественного языка мы бы не смогли взять призы в двух номинациях. Теперь перед нами стоит серьезный вызов: взять  технологический барьер и для русского языка, который, конечно, значительно сложнее.»