OpenAI предложила способ бороться с «галлюцинациями» ChatGPT

Для заведомо ложной информации создали отдельный термин — «галлюцинации». По словам OpenAI, это возникает в том случае, когда ИИ начинает верить, что оперирует реальными фактами.

Компания заяявляет, что одной логической ошибки достаточно, чтобы поставить бота в неопределённость и превратить всю последующую информацию в ложную цепочку.

Даже современные ИИ-модели склонны выдавать ложные сведения. Они демонстрируют тенденцию выдумывать факты в моменте неопределенности. Эти галлюцинациС и вызывают много проблем в областях, требующих многоступенчатых рассуждений, поскольку одной логической ошибки достаточно, чтобы переврать остальное,

С отчета  OpenAI.

OpenAI разработала новую стратегию, согласно которой ИИ будет вознаграждать себя за правильные рассуждения. Исследователи назвали этот подход «контроль процесса». По их мнению, он может привести к созданию более логичного ИИ, поскольку эта стратегия побуждает модели следовать «цепочке мыслей», подобной человеческой.