МаксАльфа-Банк разработал собственную систему защиты генеративного ИИ, которая проверяет запросы пользователей и ответы ИИ на соответствие требованиям безопасности, - сообщает пресс-служба финансовой организации. Она работает во всех клиентских сервисах банка, где используется генеративный ИИ, включая умный поиск, чат-боты и ИИ-помощников.
Генеративный ИИ в банке должен не только качественно отвечать на вопросы клиентов, но и соблюдать требования безопасности, - отмечается в сообщении. Слишком строгие проверки могут ухудшать клиентский опыт: ассистент начинает отказывать в ответах на безобидные запросы. Поэтому важно найти баланс между безопасностью и качеством обслуживания.
Обычно безопасность генеративного ИИ обеспечивается в том числе за счёт встроенных в модель механизмов, которые помогают ей следовать заданным правилам. Альфа-Банк дополнил этот подход собственной системой гардрейлов - отдельным механизмом проверки запросов и ответов ИИ. Готовые модели и фильтры запрещённых слов не решают эту задачу полностью: реальные диалоги сложнее тестовых примеров, поэтому системе важно учитывать контекст.
При разработке команда разделила правила проверки сообщений клиентов и ответов ИИ. Это позволяет применять к ответам ассистента более строгие требования безопасности, - подчеркивается в релизе.
Система работает в два этапа. Первый выявляет очевидные нарушения, а второй использует дообученные модели машинного обучения для проверки более сложных случаев.
Чтобы система безопасности оставалась эффективной, модели необходимо регулярно обучать на новых данных. Для этого нужно размечать большие объёмы примеров, определяя, какие запросы и ответы соответствуют требованиям безопасности. Альфа-Банк автоматизировал 95% этой работы с помощью других больших языковых моделей. Специалисты подключаются только к сложным случаям, требующим дополнительной проверки. Это позволило ускорить подготовку данных в шесть раз.
Собственная разработка помогает Альфа-Банку контролировать безопасность генеративного ИИ во всех клиентских сервисах, где он используется, и снижать риски, связанные с его работой, - добавляют в банке.
