Дрейф данных в банковском скоринге: расчет PSI на примере
PSI в условном примере равен примерно 0,0412: базовое распределение баллов составляет 50/30/20%, текущее — 40/35/25%. Это значение ниже часто используемого ориентира 0,10. Оно описывает сдвиг распределения между двумя выборками.
Макар Литвинов·Обновлено: 19 ноября 2026 г.·8 мин

Само по себе оно не показывает, стала ли скоринговая модель хуже предсказывать дефолты.
В банковском скоринге Population Stability Index используют для мониторинга изменений входных признаков или итогового балла. Расчет строится на долях наблюдений в сопоставимых группах. Результат зависит от того, как эти группы заданы. Поэтому число PSI имеет смысл только вместе с описанием выборок, биннинга и правил расчета.
Что измеряет PSI
Для расчета нужны две выборки. Базовая обычно соответствует периоду или данным, на которых оценивали модель. Текущая содержит новые наблюдения, поступившие в мониторинг. Для каждого признака обе выборки раскладывают по одинаковым бинам, затем сравнивают доли наблюдений в каждой группе.
Формула:
PSI = Σᵢ (pᵢ − qᵢ) × ln(pᵢ/qᵢ)
Здесь pᵢ — доля наблюдений в текущей выборке в бине i, qᵢ — доля в базовой выборке в том же бине. Натуральный логарифм рассчитывают для отношения этих долей. Вклад каждого бина суммируют.
Порядок долей в формуле следует закрепить в реализации и документации. При перестановке текущей и базовой выборки итог не меняется: обе разности и логарифм отношения одновременно меняют знак, а их произведение остается тем же. Для корректного сравнения важны одинаковые границы групп и одинаковые правила обработки данных в обеих выборках.
PSI можно считать для числовых и категориальных переменных. В скоринговой системе это может быть отдельный входной признак, итоговый балл или другой показатель, распределение которого требуется отслеживать. Каждый расчет отвечает на узкий вопрос: насколько изменились доли наблюдений по заданным группам.
PSI фиксирует изменение распределения. Качество прогноза проверяется отдельными метриками.
Бины задают масштаб измерения
Числовой признак перед расчетом делят на интервалы. Например, диапазон значения можно разбить на несколько непересекающихся групп. Категориальный признак группируют по категориям, при необходимости объединяя их по заранее определенному правилу.
Границы бинов нужно выбрать для базовой выборки, а затем применять к текущей. Если для каждого периода заново строить интервалы по квантилям, группы перестанут соответствовать друг другу. Тогда доли сравниваются уже не в одних и тех же диапазонах, и результат теряет прямой смысл мониторинга.
Выбор разбиения влияет на итоговый PSI. Грубые интервалы могут скрыть локальные изменения внутри широкой группы. Слишком детальные интервалы делают расчет чувствительным к малому числу наблюдений в отдельных бинах. PSI, полученные при разных схемах биннинга, нельзя напрямую трактовать как временной ряд одного и того же показателя без оговорки о методике.
Для числового признака в спецификации расчета фиксируют:
- набор интервалов и правила включения граничных значений;
- обработку пропусков и значений вне диапазона базовой выборки;
- период и критерии отбора базовой и текущей выборок;
- формат долей, используемый в коде: например, 0,40 вместо 40%;
- версию расчета, включая правила для бинов с нулевой долей.
Последний пункт связан с логарифмом. Если доля в одном из бинов равна нулю, отношение долей может быть нулевым или неопределенным, а логарифм не даст обычного конечного значения. Универсальное правило обработки нулей для всех банков не установлено. Поэтому способ обработки таких случаев должен быть определен в методике и применяться последовательно. Без этой информации PSI невозможно полностью воспроизвести по одним только итоговым числам.
Для категорий действует тот же принцип сопоставимости. Если в текущих данных появилась новая категория, ее нельзя молча исключить из расчета. Требуется определить, как она попадет в группы и как это изменение будет отражено в мониторинге. Решение влияет на доли и, следовательно, на результат.
Расчет PSI по трем диапазонам
Рассмотрим условное распределение баллов. В базовой выборке доли по трем диапазонам равны 50%, 30% и 20%. В текущей — 40%, 35% и 25%. Это иллюстрация арифметики, а не данные банковского портфеля.
Для каждого бина считаем вклад по формуле. Доли подставляем как десятичные числа:
| Диапазон | Базовая доля qᵢ | Текущая доля pᵢ | Вклад в PSI |
|---|---|---|---|
| 1 | 0,50 | 0,40 | (0,40 − 0,50) × ln(0,40 / 0,50) ≈ 0,0223 |
| 2 | 0,30 | 0,35 | (0,35 − 0,30) × ln(0,35 / 0,30) ≈ 0,0077 |
| 3 | 0,20 | 0,25 | (0,25 − 0,20) × ln(0,25 / 0,20) ≈ 0,0112 |
Сумма вкладов составляет около 0,0412. Для воспроизведения результата достаточно сохранить исходные доли, границы трех диапазонов и правило округления. Округление промежуточных вкладов может немного изменить отображаемую сумму, поэтому в производственном расчете лучше суммировать значения с полной точностью, а округлять только итог для отчета.
В этом примере доля первого диапазона уменьшилась на 10 процентных пунктов, две другие выросли на 5 пунктов каждая. PSI агрегирует изменения по всем группам в одно число. Он не указывает сам по себе, какой именно признак вызвал изменение на уровне модели, почему оно произошло и какой группе клиентов соответствует сдвиг. Для этого нужны разрезы по бинам и анализ данных, из которых сформированы выборки.
При расчете нескольких признаков итоговую сводку не следует сводить к одному общему PSI без четко описанной методики. PSI по каждому признаку показывает изменение его распределения. Значение по итоговому баллу отвечает на другой вопрос. Эти показатели нельзя считать взаимозаменяемыми.
Как трактовать ориентиры 0,10 и 0,25
В практических материалах встречаются такие ориентиры:
| Значение PSI | Частая трактовка | Ограничение |
|---|---|---|
| PSI ≤ 0,10 | Распределения считают сходными | Это эвристика, а не норматив |
| 0,10 < PSI ≤ 0,25 | Небольшой сдвиг | Требуется анализ признаков и контекста |
| PSI > 0,25 | Значительный сдвиг | Значение не доказывает ухудшение модели |
Эти границы приводят как справочные. Они не являются универсальным регуляторным стандартом и не устанавливают автоматически, при каком значении банк обязан переобучить модель или остановить ее использование. Исследования статистических свойств PSI также отмечают, что распространенные пороги не привязаны к заданным уровням ошибок первого и второго рода.
Поэтому порог PSI для кредитного скоринга разумно трактовать как внутренний сигнал мониторинга. Банк может задать уровни реакции для своей модели и конкретных признаков, но такие уровни должны учитывать схему биннинга, размер и состав выборок, частоту расчетов и цену ошибочной тревоги. Одинаковое значение может иметь разный операционный смысл для разных признаков.
Условные 0,0412 из предыдущего примера ниже ориентира 0,10. Это говорит о небольшом суммарном изменении распределения в заданных трех группах при выбранных границах. Вывод не переносится автоматически на другие бины, признаки или период. Перестроенная схема разбиения может дать другое число.
Не следует читать значение как процент изменившихся клиентов. PSI не равен доле наблюдений, перешедших из одной группы в другую. Он суммирует нелинейные вклады различий долей и зависит от логарифма их отношения.
Мониторинг дрейфа в банке
Рабочий мониторинг начинается с фиксированной базовой выборки. Если база меняется при каждом пересчете, сравнение теряет опорную точку. Для каждой модели и версии расчета должны быть доступны исходные распределения, границы групп и период наблюдения.
Дальше PSI считают по расписанию, принятому для конкретного процесса. Универсальная частота и универсальный размер выборки не установлены. Частоту выбирают с учетом потока заявок, операционного цикла и того, насколько быстро изменение входных данных должно попасть в разбор. При этом отчет должен показывать объем наблюдений: два одинаковых PSI, рассчитанных на разном количестве записей, не дают одинакового контекста для интерпретации.
В мониторинге полезно хранить не только итоговый индекс, но и его составляющие:
- доли в каждом бине для базовой и текущей выборок;
- вклад каждого бина в общий PSI;
- число наблюдений и пропусков;
- границы и версию биннинга;
- дату или период выборки и версию скоринговой модели.
Такой набор позволяет отличить изменение одного диапазона от распределенного сдвига по нескольким группам. Он также упрощает проверку конвейера данных: если резко изменилась доля пропусков или перестали поступать значения категории, итоговый индекс следует рассматривать вместе с диагностикой источника.
Высокий PSI запускает разбор, но не дает готового объяснения. Причиной могут быть изменения состава заявителей, каналов привлечения, правил формирования признаков или качества поступающих данных. Само число не разделяет эти механизмы. Нужны проверки на уровне признаков, источников и этапов обработки.
PSI и качество скоринга — разные контуры контроля
Стабильность входных данных скоринговой модели не равна точности ее прогнозов. PSI отвечает на вопрос о распределении значений. Он не измеряет долю дефолтов, калибровку вероятностей или качество ранжирования клиентов. По одному значению PSI нельзя подтвердить ухудшение прогнозов, рост дефолтности или необходимость переобучения.
В контуре валидации нужно отдельно отслеживать качество модели на данных, для которых известен целевой исход. Для этого применяют подходящие метрики качества и калибровки, а также проверяют, как модель работает в релевантных сегментах и периодах. Конкретный набор зависит от задачи, целевой переменной и доступности подтвержденных исходов.
Показатели дополняют друг друга. Если PSI вырос, а метрики качества пока стабильны, это сигнал исследовать источник сдвига и продолжать наблюдение по установленной процедуре. Если PSI низок, это не доказывает, что качество модели сохранено: сдвиг может быть незаметен при выбранных бинах, а проблемы могут проявляться в других свойствах данных или в связи признаков с целевым исходом.
Практический контур можно выстроить так:
1. Зафиксировать базовую выборку, границы бинов и правила обработки пропусков.
2. Пересчитывать доли в тех же бинах для новых данных.
3. Сохранять итоговый PSI вместе с вкладом каждого бина и объемом выборки.
4. При срабатывании внутреннего порога проверять признаки, источники данных и процесс формирования скорингового набора.
5. Оценивать качество прогноза отдельными метриками, когда для текущих наблюдений доступны целевые исходы.
Для инженерной команды главный риск состоит в сравнении несопоставимых расчетов. При смене базового периода, границ интервалов, фильтров или правил обработки данных PSI может измениться из-за методики. В журнале мониторинга такие изменения нужно отделять от динамики самого портфеля.
PSI полезен как компактный индикатор распределительного сдвига. Его надежность зависит от воспроизводимости входных условий. Пороги 0,10 и 0,25 подходят как ориентиры для первичной интерпретации, но не заменяют внутреннюю методику и контроль качества модели. В эксплуатации следует хранить не только число PSI, но и данные, из которых оно получено.