Нейросети или предиктивная аналитика в банках: сравнение метрик точности прогнозов

На бумаге результат выглядит прилично. Для банка он не отвечает на главный вопрос: кого из заявителей рискованнее кредитовать.

Поэтому сравнение нейросетей и предиктивной аналитики в банках начинается не с количества слоёв и не с размера вычислительного кластера. Сначала нужно понять, какую задачу решает модель и что именно измеряет выбранная метрика. Только после этого можно говорить о приросте качества, стоимости объяснения и месте алгоритма в кредитном процессе.

Ловушка метрики Accuracy при дисбалансе кредитного портфеля

Просрочки обычно составляют меньшую часть наблюдений в кредитном портфеле. Соотношение зависит от продукта, периода, определения дефолта и состава выборки. При таком дисбалансе общая доля правильных ответов, Accuracy, может скрывать провал модели на редком, но важном классе.

Допустим, в выборке девять из десяти заемщиков не допустили просрочку. Если классификатор присвоит всем метку «без просрочки», его Accuracy составит 90%. При этом модель не распознает ни одного заемщика с просрочкой. Она хорошо описывает преобладающий класс, но не помогает отделить рискованные заявки от остальных.

Проблема не в том, что Accuracy всегда бесполезна. Она отвечает на конкретный вопрос: какая доля бинарных решений оказалась правильной при выбранном пороге. Но в скоринге обычно важно не только выдать окончательную метку, а упорядочить заявки по риску. Для этого полезнее смотреть на метрики ранжирования, а затем отдельно выбирать порог с учётом кредитной политики.

F1-score тоже не универсальная замена Accuracy. Он объединяет precision и recall для выбранного класса и выбранного порога. Это помогает оценить компромисс между долей найденных дефолтов и долей ложных тревог, но не показывает качество ранжирования по всему диапазону порогов. При смене cutoff изменятся и precision, и recall, и F1.

Вместо одной цифры модель обычно оценивают с нескольких сторон:

• ROC-AUC показывает, насколько хорошо модель ранжирует наблюдения разных классов по всему диапазону порогов.
• Gini выражает ту же дискриминирующую способность в другой шкале.
• Precision и recall помогают понять, сколько ложных тревог и пропусков возникает при конкретном cutoff.
• Матрица ошибок показывает, какие именно решения принимает модель на выбранном пороге.
• Калибровочные показатели помогают проверить, соответствуют ли предсказанные вероятности фактической частоте событий.
• Метрики по сегментам и периодам позволяют увидеть, не скрывает ли общий результат ухудшение на отдельной группе клиентов или после изменения экономических условий.

Одна модель может хорошо ранжировать заемщиков, но выдавать плохо откалиброванные вероятности. Другая может точнее соответствовать фактическим частотам дефолта, но уступать в ранжировании. Для стратегии лимитов и ценообразования вероятности важны сами по себе; для ранжирования заявок на ручную проверку важнее порядок. Это разные задачи, и смешивать их в один показатель не стоит.

ROC-AUC и Gini: одна задача, два представления

Коэффициент Gini в скоринге связан с ROC-AUC простой формулой:

Gini = 2 × ROC-AUC − 1

Если Gini выражают в процентах, результат умножают на 100%. Например, ROC-AUC 0,5 соответствует Gini 0, а ROC-AUC 1 соответствует Gini 100%. В практических отчётах важно сверять шкалу: запись 0,4 и запись 40% могут обозначать одно и то же значение.

Обе метрики оценивают способность модели различать классы по ранжированию. Интуитивно ROC-AUC можно понимать как вероятность того, что случайному заемщику с дефолтом модель присвоит более высокий риск, чем случайному заемщику без дефолта. Это не оценка качества конкретного решения о выдаче. Метрика сводит поведение модели по множеству возможных порогов к одному числу.

Отсюда следует важное различие: ROC-AUC и Gini не зависят от одного выбранного cutoff. Если банк меняет порог, он меняет число одобрений и отказов, а также показатели ошибок при этом пороге. Само ранжирование наблюдений от такой настройки не меняется, поэтому пересчёт cutoff не повышает Gini и ROC-AUC.

Калибровка вероятностей решает другую задачу. Например, если среди клиентов с прогнозом риска около определённого уровня фактическая доля дефолтов систематически выше, вероятности могут требовать калибровки. Обычное монотонное преобразование оценок, сохраняющее порядок клиентов, не меняет ROC-AUC и Gini. Однако конкретная процедура калибровки может изменить порядок прогнозов, если она устроена не как простое монотонное преобразование. Поэтому результат нужно измерять, а не заранее считать, что калибровка обязательно снизит или повысит Gini.

Высокая ROC-AUC тоже не означает, что модель готова к эксплуатации. Она не говорит, насколько точны вероятности, сколько заявок попадёт в ручную проверку, как распределятся ошибки между сегментами и будет ли качество сохраняться со временем. Gini полезен для сравнения ранжирования, но не заменяет проверку бизнес-последствий решений.

Прирост точности: бустинг и нейросети против логистической регрессии

Логистическая регрессия остаётся важной отправной точкой для табличных банковских задач. Её легче объяснять, а результат проще связать с признаками и проверить. Но простота не означает, что она всегда будет точнее. Градиентный бустинг способен находить нелинейные зависимости и взаимодействия признаков, которые в линейной модели пришлось бы задавать отдельно. Нейросети тоже могут моделировать сложные зависимости, однако на обычных структурированных таблицах их преимущество не гарантировано.

В исследованиях и прикладных экспериментах прирост сложных алгоритмов часто описывают через ROC-AUC или Gini относительно базовой модели. Встречаются результаты с преимуществом порядка нескольких пунктов, но переносить такую разницу на любой банк нельзя. Итог зависит от качества данных, определения целевого события, схемы валидации, состава признаков и способа настройки моделей. Разница, полученная на одном датасете, не является обещанием такого же прироста на другом портфеле.

Сравнение должно быть устроено так, чтобы результат не возник из-за утечки данных или неравных условий. Если в тестовую выборку случайно попадают сведения, появившиеся уже после принятия кредитного решения, модель получает подсказку из будущего. Метрика выглядит лучше, но в производственной среде преимущество исчезает. Для кредитного скоринга особенно важны временное разделение выборок и проверка на данных более позднего периода, когда меняются состав клиентов и условия выдачи.

Есть и другой риск: сравнить модели только на одной метрике. Бустинг может улучшить ранжирование, но выдать вероятности, которые требуют дополнительной калибровки. Нейросеть может показать сопоставимую AUC, но оказаться дороже в сопровождении. Логистическая регрессия может уступать по Gini, зато быть понятнее кредитному комитету и проще для проверки. Это не означает, что сложную модель нужно отвергнуть заранее. Нужно считать не только выигрыш в тестовом наборе, но и стоимость его получения.

Несколько пунктов Gini могут быть значимым улучшением, но их нельзя получить простым сдвигом cutoff. Порог меняет решения, калибровка проверяет вероятности, а Gini оценивает ранжирование.

Дисбаланс классов требует отдельной работы при обучении. Если редких дефолтов мало, функция потерь может в большей степени отражать ошибки на частом классе. Для этого применяют веса классов, изменение состава обучающей выборки и другие способы работы с дисбалансом. Но ни один приём не бесплатен: изменение весов и частот может повлиять на вероятности, а отбор или синтетическое расширение наблюдений требует аккуратной проверки на данных, не участвовавших в настройке.

Сложный алгоритм не обязательно сильнее переобучается на редкий класс, чем логистическая регрессия. Риск определяется данными, настройкой, регуляризацией и схемой валидации. Практический вопрос звучит иначе: сохраняет ли модель качество на независимом временном периоде и достаточно ли стабильно ведёт себя в важных сегментах. Если выигрыш есть только на обучающей выборке или при одном способе разбиения, оснований переносить его в продакшн мало.

«Чёрный ящик»: SHAP, LIME и стоимость объяснения

Логистическую регрессию обычно проще интерпретировать, чем многослойную нейросеть: в модели видны коэффициенты признаков. Но даже коэффициент не всегда равен простому причинному объяснению. Значение признака зависит от кодирования переменных, взаимосвязей между ними и всей процедуры подготовки данных. А объяснение конкретного отказа должно учитывать не только сам алгоритм, но и правила продукта, пороги и дополнительные проверки.

В сложных моделях вклад признаков можно анализировать разными способами. SHAP оценивает вклад признаков в отдельное предсказание и может использоваться для обзора поведения модели на наборе наблюдений. LIME строит локальное приближение возле конкретного примера. Эти подходы полезны, но у них есть ограничения: результаты зависят от представления данных и выбранной процедуры расчёта, а локальное объяснение не обязано описывать глобальное поведение алгоритма.

Для анализа нейросетей применяют и другие методы: анализ чувствительности к изменению признаков, пертурбационные методы, градиентные подходы, объяснения на уровне архитектуры и сравнение с более простыми суррогатными моделями. Выбор зависит от задачи и от того, какое объяснение требуется: исследовательское для разработчиков, локальное для разбора отдельного решения или обобщённое для мониторинга модели.

SHAP и LIME сами по себе не гарантируют прохождение аудита. Регуляторная оценка затрагивает не только способ объяснения, но и управление моделью: качество данных, документирование разработки, независимую валидацию, контроль изменений, мониторинг и порядок использования результатов. Наличие красивого графика вклада признаков не отвечает на вопрос, корректно ли банк собрал данные и применяет ли модель в пределах утверждённой кредитной политики.

Поэтому интерпретация должна быть частью процесса, а не отдельным отчётом, который готовят перед проверкой. Для модели важно заранее определить, кто читает объяснения, какие решения он принимает на их основе и можно ли воспроизвести результат. Если объяснение меняется при небольшом изменении входных данных или метод расчёта непрозрачен для команды контроля, само наличие метода интерпретации не решает проблему.

Где нейросети перестают быть аргументом

Нейросети входят в инструментарий предиктивной аналитики. Это не противоположность предиктивной аналитике, а один из классов алгоритмов, которые могут решать задачи прогнозирования. Сравнивать корректнее конкретные модели на одной и той же постановке задачи, данных и схеме проверки, а не «нейросети» с «предиктивной аналитикой» как будто это два взаимоисключающих подхода.

У таблицы нет универсального победителя. Стоимость обучения зависит от объёма данных и инфраструктуры; стоимость сопровождения зависит от того, как часто обновляется модель и какие проверки требует банк. «Сложнее» не обязательно означает «неприемлемо», как «прозрачнее» не обязательно означает «точнее». Выбор определяется тем, насколько дополнительный результат модели оправдывает расходы на валидацию, мониторинг и объяснение.

Кредитная политика также не сводится к порогу классификатора. Банк может принимать разные решения для разных продуктов и сегментов, ограничивать выдачи по причинам, не связанным напрямую с прогнозом дефолта, или направлять часть заявок на дополнительную проверку. В такой системе одна метрика качества не описывает весь процесс. Нужно отдельно оценить ранжирование, вероятности, последствия ошибок и соответствие модели правилам принятия решений.

Эффективность предиктивных моделей в финтехе: порог для решения

Универсального бенчмарка точности алгоритмов прогнозной аналитики банка нет. ROC-AUC одного и того же значения может иметь разный практический смысл для ипотечного портфеля, кредитных карт и коротких займов. Отличаются частота дефолтов, доступные признаки, горизонт прогноза и цена ошибки. Сравнивать результаты корректно только с учётом постановки задачи и данных.

Эффективность предиктивных моделей в финтехе стоит оценивать как набор связанных свойств. Модель должна не только хорошо ранжировать клиентов в тесте, но и сохранять качество на новых данных. Предсказанные вероятности должны быть пригодны для тех решений, где используются именно вероятности. Ошибки нужно рассматривать по сегментам, а изменения качества отслеживать после запуска. Наконец, модель должна вписываться в процесс контроля и оставаться воспроизводимой.

В рабочем сравнении полезно задать несколько вопросов:

1. Одинакова ли постановка задачи? У моделей должны совпадать целевое событие, горизонт прогноза, признаки и правила подготовки данных.

2. Нет ли утечки? В обучении и проверке не должны использоваться сведения, недоступные на момент принятия решения.

3. Сохраняется ли преимущество во времени? Случайное разбиение может завысить оценку, если данные одного периода похожи друг на друга.

4. Что происходит при выбранном пороге? ROC-AUC не сообщает, сколько заявок будет одобрено или сколько дефолтов пропущено при конкретной кредитной политике.

5. Насколько надёжны вероятности? Если от прогноза зависит лимит, цена или ожидаемый убыток, одной метрики ранжирования недостаточно.

6. Можно ли объяснить и контролировать решение? Нужно понимать, как модель ведёт себя на отдельных примерах и как меняется её качество после запуска.

Точность алгоритмов прогнозной аналитики банка нельзя свести к одному числу в презентации. ROC-AUC и Gini подходят для сравнения ранжирования; Accuracy и F1-score описывают решения при заданном пороге; калибровка проверяет качество вероятностей. Каждая метрика отвечает на свой вопрос. Подмена одного вопроса другим создаёт ложное ощущение контроля.

Сложная модель оправдана, когда её преимущество подтверждается независимой проверкой и остаётся полезным после учёта расходов на внедрение, мониторинг и объяснение. Если такого преимущества нет, более простая модель может быть разумнее. Это не отказ от технологий, а требование к ним: дополнительная сложность должна приносить измеримую пользу именно в том процессе, где банк собирается использовать прогноз.