В России создали методику избавления нейросети от "галлюцинаций"
Специалисты Университета Решетнева разработали методику, позволяющую избавлять нейросети от недостоверных и вымышленных фактов. По данным вуза, технология может использоваться в образовании, на «Госуслугах», а также в медицине и юриспруденции.
Как отмечают в университете, проблема нейросетей заключается в том, что они способны уверенно выдавать ложную информацию — такие ошибки называют «галлюцинациями». Сейчас для их снижения применяются RAG-системы (Retrieval-Augmented Generation, генерация с дополненной выборкой), в которых нейросеть сначала ищет нужные сведения в базе знаний, а затем формирует ответ. Однако даже такой подход не исключает ошибок: они могут возникать из-за опечаток, противоречий в запросе или неполноты базы данных.
«Чтобы решить эту задачу, команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала типовые сценарии “галлюцинаций” и создала их классификатор. Затем был разработан автоматизированный пайплайн стресс-тестирования: система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность с помощью специальных метрик и семантического сходства», — сообщили в вузе.
Там уточнили, что главным результатом стал прототип модуля мониторинга, работающего в реальном времени. Он фиксирует все входящие запросы и контекст диалога, оценивает вероятность недостоверного ответа и присваивает модели показатель уверенности. Если система обнаруживает ошибку или низкую уверенность, она предупреждает оператора.
По словам разработчиков, важное преимущество методики — ее универсальность. Она не зависит от конкретной нейросети и может быть адаптирована для разных сфер: от чат-ботов для абитуриентов до сервисов на «Госуслугах», а также медицинских и юридических помощников.
Источник и фото - ria.ru
