Объяснимость ИИ-моделей в банках: что показывают метрики
Четыре принципа NIST описывают объяснимый ИИ. Три элемента валидации SR 11-7 задают рамку для проверки моделей. Ни один из этих документов не устанавливает универсального числового порога объяснимости банковского ИИ.
Макар Литвинов·Обновлено: 15 ноября 2026 г.·7 мин

Это важное ограничение для практики. Значение SHAP, оценка понятности и результат бэктестирования отвечают на разные вопросы. Их нельзя сложить в один рейтинг и считать, что он доказывает качество объяснения. Метрики интерпретируемости банковских моделей работают только в связке с назначением системы, составом данных, целевой аудиторией и контролем фактических результатов.
Четыре принципа вместо единого индекса
NIST описывает объяснимость через четыре свойства. Система должна предоставлять объяснение. Оно должно быть понятно предполагаемому адресату. Объяснение должно точно отражать причину результата или работу системы. Наконец, модель должна действовать в предусмотренных условиях и при достаточной уверенности в результате.
Это не шкала с четырьмя баллами и не обязательный банковский стандарт. Принципы помогают разложить вопрос на проверяемые части. Само наличие объяснения ещё не показывает, что оно полезно. Понятная формулировка может неверно передавать логику модели. Точное техническое описание может быть непригодно для сотрудника контактного центра или клиента.
Для каждой части нужны свои проверки:
- Наличие. Система формирует объяснение для нужного результата и сохраняет его вместе с версией модели и входными данными.
- Понятность адресату. Текст или визуализация подходят аудитории. Разработчику может требоваться вклад признаков и версия пайплайна. Специалисту контроля качества нужны ограничения и условия применения. Клиенту нужна ясная формулировка без внутренней терминологии.
- Точность. Объяснение согласуется с вычислительным поведением модели. Оно не подменяет реальный механизм удобной историей, составленной постфактум.
- Границы применимости. Система распознаёт ситуации, для которых её результат нельзя считать надёжным, и действует в пределах заданных условий.
В документации NIST не задан единый числовой индекс, который объединяет эти свойства. Поэтому выражение «объяснимость 82%» само по себе не даёт технической информации. Требуется описание: что именно измерено, на какой выборке, каким методом и для какого адресата.
Объяснение оценивают по нескольким свойствам. Одно число не показывает, насколько оно точное, понятное и применимое.
В банковской системе адресатов несколько. Разработчик изучает поведение модели и ошибки реализации. Валидатор проверяет концепцию, данные и результаты. Операционный сотрудник должен понимать, как действовать в конкретном процессе. Клиенту нужна информация, соответствующая его ситуации. Один и тот же формат объяснения не обязан решать все эти задачи.
SHAP показывает вклад признаков, а не причинность
SHAP применяет значения Шепли к условному математическому ожиданию модели. Для объясняемого наблюдения метод может возвращать атрибуции признаков и ожидаемое значение выхода. На практике это помогает разобрать, какие входные признаки сдвинули предсказание относительно базового уровня.
Для кредитного скоринга такая атрибуция может показать вклад отдельных характеристик в результат модели. Для выявления подозрительных операций — указать, какие признаки повлияли на оценку риска. Но SHAP не доказывает, что признак вызвал результат в реальном мире. Он описывает вклад признака в вычисление модели при выбранной постановке объяснения.
Это различие принципиально. Атрибуция отвечает на вопрос о поведении алгоритма. Причинный вывод требует отдельного обоснования. Высокий вклад признака не доказывает, что изменение этого признака изменило бы положение клиента в действительности. Результат зависит от модели, данных и способа расчёта объяснения.
SHAP также не является полной метрикой объяснимости. Значения атрибуции могут быть математически корректны в рамках метода, но это не гарантирует понятность человеку или устойчивость объяснения при изменении входов. Методы локального объяснения относятся к конкретному прогнозу. Общая картина по модели требует отдельного анализа.
При внедрении полезно фиксировать как минимум:
- версию модели и набор признаков, для которых рассчитано объяснение;
- тип выхода модели и базовое ожидаемое значение;
- способ расчёта атрибуций и конфигурацию объяснителя;
- ограничения метода и допустимую область интерпретации;
- адресата объяснения и решение, для которого оно применяется.
Эти поля не превращают атрибуцию в доказательство причинности. Они позволяют воспроизвести вычисление и понять, в каком контексте читать результат. Без версии модели и состава входов объяснение трудно сопоставить с последующим изменением системы.
Валидация охватывает модель шире, чем объяснение
В руководстве Федеральной резервной системы SR 11-7 выделены три элемента валидации: оценка концептуальной обоснованности, текущее мониторирование и анализ результатов модели. Это рамка проверки модели, а не шкала объяснимости.
Концептуальная обоснованность относится к логике построения. Проверяется, соответствует ли конструкция модели задаче, насколько обоснованы выбранные допущения и как устроены данные. Для модели, влияющей на финансовое решение, этого недостаточно заменить красивой визуализацией вкладов признаков.
Текущее мониторирование отслеживает работу модели после внедрения. Входные данные могут измениться. Могут поменяться процессы, по которым формируются признаки, или поведение клиентов. Объяснение, рассчитанное для исходных условий, не подтверждает корректность работы после такого сдвига.
Анализ результатов сопоставляет прогнозы с фактическими исходами. Здесь оцениваются ошибки и соответствие модели её назначению. Объяснение может помочь найти подозрительную зависимость или разницу между группами наблюдений, но само по себе не заменяет проверку качества прогноза.
Практическая матрица разделяет эти вопросы:
| Область проверки | Что выясняется | Что она не подтверждает сама по себе |
|---|---|---|
| Концептуальная обоснованность | Соответствуют ли конструкция, допущения и данные задаче | Что каждое отдельное объяснение понятно адресату |
| Мониторирование | Сохраняется ли рабочий профиль модели после внедрения | Что исходная логика модели была корректна |
| Анализ результатов | Как прогнозы соотносятся с фактическими исходами | Что атрибуция признаков доказывает причинность |
| SHAP-атрибуция | Как признаки влияют на выход модели в выбранном объяснении | Что вклад признака отражает причинное влияние на клиента |
SR 11-7 также требует документации, достаточной для человека, не знакомого с моделью: он должен иметь возможность понять её работу, ограничения и ключевые допущения. Это техническое требование к воспроизводимости и проверяемости процесса. Документ с названием модели и перечнем признаков такой задачи не решает.
Бэктестирование: прогноз сравнивают с фактом
Бэктестирование сопоставляет прогнозы модели с фактическими результатами на выборке, которая не использовалась при разработке. Частота проверки должна соответствовать горизонту прогноза или окну оценки. Для краткосрочного сигнала и модели, оценивающей длительный риск, режим проверки будет различаться.
Такой анализ показывает, как прогнозы соотносятся с наступившими событиями. Он не измеряет понятность объяснений напрямую. Однако без него нельзя оценить, насколько полезна модель в реальной задаче. Объяснение к модели, которая систематически ошибается на актуальных данных, не исправляет качество прогноза.
Бенчмаркинг дополняет проверку сравнением с выбранными ориентирами. В документации валидации, описанной Федеральной резервной системой, среди элементов названы прозрачность, устойчивость и ограничения модели, экспертные суждения, анализ результатов, бэктестирование и бенчмаркинг. Это перечень направлений контроля. Он не задаёт универсального теста объяснимости.
В банковской практике важно не смешивать три результата:
1. Качество прогноза. Насколько результат модели соответствует фактическому исходу и назначению системы.
2. Качество объяснения. Насколько объяснение точно отражает вычисление модели и подходит адресату.
3. Качество контроля. Насколько организация обнаруживает отклонения и реагирует на них после внедрения.
У каждого результата собственные данные и процедуры. Сводный балл может быть удобен для отчёта, но только при раскрытой методике. Иначе он скрывает, какой именно компонент просел.
Для проверки объяснений можно отдельно задавать тестовые сценарии: повторно рассчитывать объяснение при фиксированных входах, сравнивать его при контролируемом изменении признака, проверять воспроизводимость на одинаковой версии системы. Это инженерные проверки конкретной реализации. Их нельзя выдавать за единый нормативный набор или за доказательство понятности для клиента. Пороговые значения должны быть обоснованы внутри модели и процесса, поскольку универсальных значений для fidelity, стабильности или понятности найденные материалы не устанавливают.
Документация связывает метрики с решением
Метрики приобретают смысл, когда понятно, к какому решению они относятся. Если объяснение используется для контроля модели, нужны технические сведения и возможность воспроизведения. Если оно поддерживает работу сотрудника, важны трактовка и допустимые действия. Если объяснение предназначено для внешнего адресата, требуется отдельная оценка ясности и корректности формулировки.
В документации стоит фиксировать:
- назначение модели и решения, на которые она влияет;
- состав данных, ключевые допущения и ограничения;
- версии модели, API и компонентов расчёта объяснений;
- метод атрибуции и то, какие выводы он допускает;
- результаты концептуальной оценки, мониторинга и анализа фактических исходов;
- проведённые бэктесты, выбранные выборки и частоту повторения;
- экспертные суждения, отклонения и порядок эскалации.
Такая запись позволяет отделить изменение модели от изменения данных и процесса. Она также помогает аудитору, валидатору или специалисту контроля качества разобраться в системе без участия её разработчика. Прозрачность алгоритмов в финансовых организациях начинается с этой возможности проследить цепочку: входные данные, версия модели, прогноз, объяснение, проверка результата.
Для банка практическая оценка объяснимости ИИ-моделей складывается из раздельных проверок. NIST даёт свойства объяснения и задаёт вопрос об адресате. SHAP показывает атрибуцию признаков в выходе модели. SR 11-7 задаёт более широкую рамку валидации: концептуальная обоснованность, мониторирование и анализ результатов. Бэктестирование связывает прогноз с фактом, а документация сохраняет условия и ограничения.
Единой числовой метрики для этой системы нет. Рабочий показатель должен раскрывать, что измерялось, на каких данных, для какой версии и с какой целью. Без этого число остаётся полем отчёта, а не характеристикой надёжности банковского ИИ.