Умнее и безопаснее: российские учёные снижают самоуверенность нейросетей

Российская команда из МИСиС, МФТИ и их научных партнёров представила метод, который может изменить подход к безопасности искусственного интеллекта. Новый алгоритм, получивший название Identity Curvature Laplace Approximation (ICLA), позволяет нейросетям точнее оценивать собственную неуверенность и различать ситуации, с которыми они раньше не сталкивались.

Разработка стала одним из заметных событий престижной конференции WACV 2025 в США, а результаты исследования опубликованы в трудах IEEE. И хотя работа выглядит сугубо технической, её последствия могут оказаться ключевыми для развития беспилотников, медицины и финансовых технологий.

Когда машины слишком уверены в себе

Сегодня нейросети работают в медицине, на транспорте и в банковской сфере. Однако у них есть серьёзная проблема: они почти всегда уверены в своём ответе — даже если этот ответ ошибочный.

Система, обученная распознавать кошек, собак и машины, может уверенно назвать жирафа автобусом. В игре это лишь забавная ошибка, но в беспилотном автомобиле подобная самоуверенность может стать фатальной.

Способность обнаруживать данные, выходящие за рамки обучающего набора, называется OOD-детектированием. Это одно из главных условий безопасности ИИ. И именно здесь традиционные методы нередко дают сбой.

Почему классические подходы не справляются

Один из распространённых способов оценить «сомнения» нейросети — байесовские методы. Но они требуют огромных вычислений: фактически приходится просчитывать сразу тысячи моделей.

Более практичным считается метод аппроксимации Лапласа. Он анализирует форму «ландшафта» параметров модели. Если эта форма острая и высокая, нейросеть якобы уверена в себе, если пологая — наоборот.

Исследователи решили проверить, насколько эта логика работает на практике — и нашли неожиданный парадокс.

Парадокс уверенности: когда точность мешает безопасности

На задачах, где классы данных легко отличаются (например, самолёты против грузовиков), «ландшафт» решений становится чрезмерно острым. Модель будто бы «знает ответ наверняка» и перестаёт замечать всё новое.

То есть чем лучше нейросеть распознаёт обучающие данные, тем хуже она замечает аномалии. Расчёт кривизны, который считался полезным, превращается в препятствие.

Эта находка перевернула подход исследователей: вместо усложнения они решили радикально упростить модель неопределённости.

Простая сфера вместо сложных расчётов

Учёные отказались от анализа сложной геометрии и заменили её идеальной симметричной формой — единичной матрицей. По сути, они «сгладили» кривизну и тем самым убрали лишний шум.

Главным новшеством стал алгоритм, который оптимизирует масштаб этой матрицы под конкретную задачу.

Так появился метод ICLA — простой, быстрый и чрезвычайно эффективный.

Результаты превзошли ожидания

Испытания на популярных наборах данных CIFAR-10, CIFAR-100 и ImageNet показали:

• ICLA уверенно обходит классическую аппроксимацию Лапласа;

• он превосходит и другие популярные техники;

• точность модели при этом остаётся прежней;

• предсказания становятся более честными и стабильными.

Это важное достижение, поскольку большинство улучшений в области OOD-детекции обычно ухудшают результаты на обычных данных. Здесь же исследователи добились баланса.

Экономия ресурсов: большой плюс для реальных систем

Аспирант МФТИ Станислав Дерека подчеркнул, что разработка почти не увеличивает вычислительную нагрузку. Это делает метод подходящим для реальных задач, где важна скорость реакции.

По его словам, ICLA — это «простой апгрейд» существующих нейросетей, который мгновенно повышает их безопасность.

Это особенно важно для:

• беспилотных автомобилей;

• медицинских диагностических систем;

• финансовых платформ, отслеживающих аномальные операции.

Именно в таких областях ошибка может стоить слишком дорого.

Контринтуитивный, но эффективный подход

Инновационность исследования в том, что оно бросает вызов привычной логике: чтобы улучшить работу с неопределённостью, необязательно усложнять методы. Иногда необходимо сделать шаг назад и упростить систему, чтобы она начала адекватно реагировать на новое.

Работа российских учёных расширяет фундаментальное понимание того, как нейросети принимают решения, и показывает, что классические представления о «кривизне» могут быть далеко не идеальны.

Шаг к более безопасному искусственному интеллекту

Исследование создаёт серьёзную основу для более надёжных ИИ-систем. И если в ближайшие годы новые алгоритмы станут стандартом в автопилотах или медоборудовании, то именно такие работы сыграют ключевую роль.

Россия, благодаря команде МИСиС и МФТИ, уже внесла важный вклад в этот технологический поворот — и возможно, открыла путь к следующему поколению безопасного искусственного интеллекта.