Банк ВТБ в сотрудничестве с Центром искусственного интеллекта (ИИ) Московского государственного университета (МГУ) разработал новую систему контроля ответов ИИ-агентов. Это партнерство привело к созданию двух инновационных детекторов, цель которых — проверка ошибок, связанных с токсичностью и галлюцинациями виртуальных моделей. Как сообщил советник первого заместителя президента-председателя правления ВТБ Сергей Путятинский на Kazan Digital Week, эти технологии будут проверять клиентские запросы и ответы, предоставляемые цифровыми помощниками.
Первый из детекторов, отвечающий за выявление токсичности, анализирует запросы пользователей на наличие запрещенных тем, а также на соблюдение законодательства и отсутствие контента, предназначенного для взрослых (18+). Если сообщение окажется неэтичным, система заблокирует запрос и исключит его из обработки.
Второй детектор, специализирующийся на галлюцинациях, будет анализировать уже сформированные ответы цифровых помощников, выявляя несоответствия и противоречия. Система указывает на конкретные участки текста, где возникают ошибки, что позволит специалистам ВТБ отправить такой ответ на повторную проверку или заблокировать его. Галлюцинации представляют собой одну из главных проблем генеративного ИИ, когда языковая модель может выдавать уверенные, но абсолютно вымышленные ответы.
Ожидается, что новые решения будут внедрены в те сервисы розничного бизнеса ВТБ, где цифровые помощники взаимодействуют с физическими лицами. Сергей Путятинский отметил, что ВТБ активно работает над улучшением качества обслуживания клиентов через цифровых помощников. По его словам, такие ИИ-агенты должны быть устойчивыми к провокациям, предоставлять достоверные ответы и рекомендовать соответствующие финансовые продукты и услуги. Поскольку готовых решений, отвечающих требованиям банка, на рынке не оказалось, ВТБ разработал собственные детекторы совместно с экспертами МГУ. Внедрение новых моделей проверки является важной мерой для поддержания высокого уровня обслуживания клиентов при активном использовании ИИ.