Внутренние рейтинги: объективная или субъективная оценка вероятности дефолта?

Внутренние рейтинги: объективная или субъективная оценка вероятности дефолта?

В процессе управления кредитным риском коммерческие банки обычно оценивают финансовую устойчивость и кредитоспособность своих клиентов и контрагентов с помощью различного рода внутренних методик. Основные требования, предъявляемые Банком России к качеству таких методик, заключаются в соблюдении некоторого количества формальных правил и условий, описанных, например, в положениях Банка России от 26.03.2004 № 254-П и от 20.03.2006 № 283-П. Аналитические показатели, входящие в состав методик, порядок их расчета, а также задание необходимых критериев оценки уровня риска определяются банками самостоятельно.

Предоставленная Банком России возможность самостоятельного создания методик оценки финансового положения клиентов привела к тому, что такие методики во многих российских банках стали строиться в основном лишь с целью оправдать существующую кредитную политику, в частности, для обоснования величины созданных резервов под возможные потери. Понятно, что такой подход не может гарантировать получение достаточно адекватной оценки финансового положения отдельных клиентов и контрагентов и уровня кредитного риска банка в целом, что, в свою очередь, может приводить к значительным потерям.

В то же время создание действительно адекватных методик оценки кредитного риска, основанных на внутренних рейтинговых системах (IRB-подход), связано с определенными трудностями. Например, с необходимостью использовать внешние и (или) внутренние статистические данные реализованных дефолтов, накопленные в течение продолжительного промежутка времени (согласно требованиям Базельского комитета - не менее пяти лет). У большинства российских коммерческих банков такой статистики нет или она находится на этапе создания/накопления. При этом использование внешних данных может быть осложнено тем, что определение дефолта, применяемое для накопления статистики в одних банках, может существенно отличаться от определений, принятых в других банках, например, в части длительности просрочки погашения обязательств или их объема.

Модель множественной регрессии и вероятность дефолта

Для решения проблемы недостаточности накопленных данных реализованных дефолтов на начальном этапе построения методик анализа можно попытаться использовать экспертные оценки наступления событий дефолта. Например, многие банки, разрабатывая свои методики, создают в том числе и систему «отсечек», которая позволяет закрывать лимиты кредитования на заемщика в случае выполнения одного или нескольких определенных событий. В систему «отсечек» обычно включают такие условия, как «Наличие неплатежей», «Отрицательная величина собственных средств», «Отрицательная прибыль с начала года» и т.п. Другими словами, банком заранее определяются такие критерии оценки финансового положения заемщика, которые, по его мнению, характеризуют вероятность невозврата кредитов заемщиком, близкую к 100%, т.е. возможный дефолт заемщика¹.

Для построения методик оценки финансового положения обычно применяют различные методы множественной регрессии (линейная множественная регрессия, логит- или пробит-регрессия и т.п.):

где Y - зависимая переменная;

X_i - объясняющие переменные (факторы).

В качестве зависимой переменной для построения модели может использоваться как дихотомический признак появления события дефолта (0 - дефолта нет, 1 - дефолт), так и непосредственно оценка вероятности дефолта, сделанная эмпирическим или экспертным путем (значение в диапазоне от 0 до 1). В качестве объясняющих переменных используют различные количественные аналитические показатели (хотя также допускается использование качественных дихотомических признаков, принимающих лишь два значения — 0 и 1), которые, по мнению банка, характеризуют финансовое положение заемщиков. Дополнительным условием для правильного построения модели множественной регрессии является то, что объясняющие переменные должны быть некоррелированы между собой (отсутствие мультиколлинеарности), а зависимая переменная должна иметь постоянную дисперсию. Построенная на основе такого подхода регрессионная модель позволяет оценивать вероятность дефолта заемщиков в зависимости от значений аналитических показателей, другими словами, оценивать кредитный рейтинг заемщиков.

Валидация рейтинговых систем и оценка вероятности дефолта

Для определения качества (оценки прогностической и различающей способности) построенных методик анализа финансового положения применяются различные статистические инструменты. В основном это анализ ROC-кривой (Receiver Operation Characteristic), в процессе которого оценивается площадь под построенной кривой AUC (Area Under Curve), или анализ кривой Лоренца, на основе которого рассчитывается индекс Джини (Gini-index).

ROC-кривая отображает зависимость доли верно классифицированных положительных событий (например, верно квалифицированных событий дефолта) в общем количестве положительных событий (в данном контексте событий дефолта) от доли неверно классифицированных отрицательных событий (например, при отсутствии дефолта событие было квалифицировано как дефолт) в общем количестве отрицательных событий (отсутствие дефолта).

В терминологии ROC-анализа верная классификация положительных событий называется истинно положительной, неверная классификация отрицательных событий - ложно положительной. При этом предполагается, что для классификации используется пороговый принцип - множество испытаний разбивается на два разных класса в зависимости от превышения или непревышения значением рейтинга (например, вероятностью дефолта) величины порога отсечения (cutoff value).

Доля верно классифицированных событий в общем количестве положительных событий для какого-либо порога классификации рассчитывается следующим образом:

где TPR - доля истинно положительных событий (True Positives Rate);

TP - количество верно классифицированных положительных событий;

FN - количество неверно классифицированных положительных событий.

Доля неверно классифицированных отрицательных событий в общем количестве отрицательных событий для какого-либо порога классификации рассчитывается следующим образом:

где FPR - доля ложно положительных событий (False Positives Rate);

FP - количество неверно классифицированных отрицательных событий;

TN - количество верно классифицированных отрицательных событий.

Количество верно классифицированных положительных событий и неверно классифицированных отрицательных событий рассчитывается следующим образом. Производится анализ выборки испытаний. Если величина рейтинга превышает заданный порог или равна ему, то классифицируемое событие увеличивает соответствующий счетчик следующим образом:

где Y_j - зависимая переменная, отражающая оценку вероятности возникновения события или признак наличия или отсутствия события в j-м испытании;

  величина рейтинга, рассчитанного для j-го испытания;

cutoff_i - величина i-го порога, для которого рассчитываются соответствующие величины TP и FP;

TP_i - количество верно классифицированных положительных событий, рассчитанное для i-го порога;

FP_i - количество неверно классифицированных отрицательных событий, рассчитанное для i-го порога.

ROC-кривая строится следующим образом. Для каждого значения порога cutoff_i (например, величина порога может меняться от 0 до 1 с заданным шагом = 1/N, т.е. cutoff_i = i*, i = 0,N) рассчитывается доля истинно положительных (TPR_i) и ложно положительных событий (FPR_i). Строится график исследуемой зависимости, для чего по оси Y откладывается доля истинно положительных событий (TPR_i), по оси X - доля ложно положительных событий (FPR_i), после чего оценивается площадь под построенной кривой AUC (Area Under Curve):

где y_i - доля истинно положительных событий (TPR_i) для i-го значения порога;

x_i - доля ложно положительных событий () для i-го значения порога.

Обычно значение AUC лежит в диапазоне от 50 до 100% - чем больше площадь под построенной кривой, тем выше качество рейтинговой системы. Значение AUC, близкое к 50% (площадь под диагональю единичного квадрата), соответствует абсолютно бесполезной методике, которая квалифицирует события случайным образом, а значение, близкое к 100%, - идеальной методике анализа, которая квалифицирует события практически без ошибок. В аналитическом документе о степени соответствия внутрибанковских подходов к управлению кредитным риском банков - участников проекта «Банковское регулирование и надзор (Базель II)» Программы сотрудничества Евросистемы с Банком России минимальным требованиям IRB-подхода Базеля II² приводится следующая экспертная шкала, определяющая степень различающей способности рейтинговой системы, основанной на значениях площади под кривой ROC: AUC > 70% - допустимо; AUC > 80% - отлично.

Для расчета индекса Джини исследуется зависимость доли неверно классифицированных положительных событий в общем количестве положительных событий от доли верно классифицированных отрицательных событий в общем количестве отрицательных событий (кривая Лоренца).

График исследуемой зависимости (кривой Лоренца) строится следующим способом. По оси Y откладывается доля отрицательно классифицированных положительных событий (1 – TPRi), а по оси Х - доля верно классифицированных отрицательных событий (1 – FPRi). Под индексом Джини подразумевается отношение площади фигуры, образованной кривой Лоренца и диагональю единичного квадрата, к половине площади единичного квадрата:

где y_i - доля неверно классифицированных положительных событий (1 – TPR_i) для i-го значения порога;

x_i - доля верно классифицированных отрицательных событий (1 – FPRi) для i-го значения порога.

Кривая Лоренца центрально симметрична ROC-кривой, поэтому индексом Джини можно также считать отношение площади фигуры, образованной ROC-кривой и кривой Лоренца, к площади единичного квадрата. Нетрудно показать, что величина AUC и индекс Джини связаны следующим выражением:

Соответственно значение индекса Джини лежит в диапазоне от 0 до 100%, т.е. чем больше площадь фигуры и, значит, значение индекса, тем выше качество методики анализа. В упомянутом выше аналитическом документе приводится следующая экспертная шкала, определяющая степень различающей способности рейтинговой системы, основанной на значениях индекса Джини: Gini > 40% — допустимо; Gini > 60% — отлично.

Оценка вероятности возникновения события (например, события дефолта) в зависимости от величины рейтинговой оценки определяется следующим образом:

где P(i — эмпирическая вероятность появления события в зависимости от величины рейтинга;

i— пороговое значение рейтинга (i — номер порога (i = 1, N), — заданный шаг изменения порога);

TP_i — количество верно классифицированных положительных событий, рассчитанное для i-го порога;

FP_i — количество неверно классифицированных отрицательных событий, рассчитанное для i-го порога.

Подход CAMEL

В качестве примера внутреннего рейтинга рассмотрим методику рейтинговой оценки финансового положения российских коммерческих банков, основанную на подходе CAMEL и изначально реализованную в программном комплексе «Анализ финансового состояния коммерческих банков» ООО НВП ИНЭК (ПК «АФСКБ», который впоследствии был переименован в ПК «ФРМ»)³. Подход CAMEL принят для рейтинговой оценки банков США Федеральной резервной системой, контролером денежного обращения и Федеральным агентством по страхованию депозитов. Данный подход основан на анализе пяти групп коэффициентов: С (Capital Adequacy — достаточность капитала); А (Asset Quality — качество активов); М (Management Factors — факторы управления); Е (Earnings — доходы); L (Liquidity — ликвидность). Специалистами ООО НВП «ИНЭК» была предложена система аналитических показателей CAMEL, адаптированная под стандарты российской финансовой банковской отчетности (табл. 1–5).

Для создания методики CAMEL использовались статистические исследования финансовой отчетности более 800 российских банков Московского региона за продолжительный период времени (1992–1996 гг.), в частности анализировались случаи появления событий «отсечки» кредитных организаций.

Считалось, что событие «отсечки» появляется при выполнении на отчетную дату одного или нескольких следующих условий:

1. Наличие у кредитной организации отрицательной прибыли с начала года.

2. Наличие у кредитной организации отрицательной величины собственных средств.

3. Наличие у кредитной организации неоплаченных документов.

Таблица 1

Достаточность капитала С

Таблица 2

Качество активов А

Таблица 3

Факторы управления М

Таблица 4

Доходы Е

Таблица 5

Ликвидность L

При появлении события «отсечки» проводился анализ значений аналитических показателей системы CAMEL, рассчитанных на основе данных финансовой отчетности кредитной организации на предыдущую отчетную дату. На основе собранной статистики из каждой группы было выбрано по одному наиболее характерному показателю:

— Capital Adequacy (достаточность капитала) — Финансовый леверидж (C2);

— Asset Quality (качество активов) — Уровень потерь (А2);

— Management Factors (факторы управления) — Управление мобильными ресурсами (S3);

— Earnings (доходы) — Прибыль к капиталу (ROE);

— Liquidity (ликвидность) — Текущая ликвидность «пессимистическая» (L3).

Для каждого выбранного показателя на основе собранной статистики были также определены диапазоны возможных значений для присвоения соответствующих оценок с использованием пятибалльной шкалы (1 — хорошо, 2 — удовлетворительно, 3 — посредственно, 4 — плохо, 5 — неудовлетворительно). Итоговая рейтинговая оценка получается путем сложения оценок выбранных показателей. Таким образом, итоговая величина рейтинга CAMEL, рассчитанная с помощью данной методики, может принимать значения в диапазоне от 5 до 25 баллов (5 — хорошо, 25 — неудовлетворительно).

Оценим качество описанной выше демонстрационной методики CAMEL с помощью анализа ROC-кривой. В качестве исходных данных для расчета рейтинга будем использовать данные кредитных организаций, раскрывающих свою информацию оборотной ведомости (форма отчетности № 101) на официальном сайте Банка России в полном объеме. Для того чтобы оценить показатели доходности исключительно на основе данных оборотной ведомости, будем использовать отчетные данные 101-й формы, начиная с 01.02.2008. В качестве классифицируемого события будем использовать события «отсечки», условия появления которых описаны выше и которые также рассчитываются на основе данных 101-й формы отчетности.

Общее количество кредитных организаций, раскрывающих на сайте Банка России данные оборотной ведомости в полном объеме с 01.02.2008 по 01.11.2010, составило 603. Расчеты проводились с помощью функционала ПК «ФРМ». В качестве зависимой переменной на отчетную дату использовалось значение дихотомического признака появления события «отсечки» (0 — «отсечки» нет, 1 — «отсечка»). В качестве анализируемого значения рейтинга на отчетную дату — значение суммарного рейтинга CAMEL на предыдущую дату, приведенное к диапазону значений от 0 до 1 (0 — хорошо, 1 — неудовлетворительно).

Рисунок 1

Зависимость качества классификации событий и величины вероятности дефолта от значений рейтинга

Рисунок 2

ROC-кривая и кривая Лоренца

Результаты анализа представлены на рис. 1 и 2. Итоговые значения AUC и индекса Джини составили 76,5 и 53% соответственно, что является вполне допустимой оценкой прогностической и различающей способности анализируемой методики для прогнозирования вероятности появления событий «отсечки» (дефолта) на временном горизонте до следующей отчетной даты.

Однако в общепринятой практике вероятность дефолта должна рассчитываться для годового горизонта, т.е. вероятность дефолта — это вероятность того, что заемщик может объявить дефолт в течение следующего года. Поэтому изменим условия проведения анализа ROC-кривой следующим образом. В качестве зависимой переменной на отчетную дату будем использовать значение дихотомического признака появления событий «отсечки» (0 — «отсечек» не было, 1 — была как минимум одна «отсечка») в течение предыдущего года. В качестве анализируемого значения рейтинга на отчетную дату — значение суммарного рейтинга CAMEL на отчетную дату годовой давности.

Результаты анализа представлены на рис. 3 и 4. Итоговые значения AUC и индекса Джини в этом случае составили 63,8 и 27,6% соответственно, что говорит о невозможности использования данной методики в системе оценки кредитных рисков в качестве внутреннего рейтинга.

Гистограмма распределения кредитных организаций по величине гипотетической вероятности дефолта на годовом горизонте, рассчитанной с использованием рейтинговой оценки CAMEL (рис. 5), показывает: основная масса кредитных организаций должна обладать вероятностью дефолта, превышающей 30%, что, например, не согласуется с оценками внешних рейтинговых агентств.

Рисунок 3

Зависимость качества классификации событий и величины вероятности дефолта от значений рейтинга

Рисунок 4

ROC-кривая и кривая лоренца

Рисунок 5

Гистограмма распределения кредитных организаций в зависимости от величины вероятности дефолта

На сегодняшний день российские и международные рейтинговые агентства в среднем присваивают российским банкам кредитные рейтинги категории «В», что соответствует примерно 5–6% вероятности дефолта на годовом горизонте. Это говорит о том, что предложенная система условий «отсечки», хотя и демонстрирует один из возможных вариантов оценки неудовлетворительного финансового положения кредитной организации, но не может в полной мере являться экспертной оценкой наступления события дефолта. Попытаемся ослабить систему «отсечек», оставив в ней только два условия:

1. Наличие у кредитной организации отрицательной величины собственных средств.

2. Наличие у кредитной организации неоплаченных документов.

Вновь оценим качество методики CAMEL на тех же исходных данных финансовой отчетности, однако в качестве классифицируемого события будем использовать появление событий «отсечки» нового типа на любую отчетную дату предыдущего года. Результаты анализа представлены на рис. 6 и 7. Итоговые значения AUC и индекса Джини в этом случае составили 59,8 и 19,6% соответственно, что также подтверждает невозможность использования данной методики в системе оценки кредитных рисков.

Внутренний кредитный рейтинг CAMEL

Для того чтобы улучшить предложенный подход, можно попытаться учесть в методике оценки финансового состояния большее количество аналитических показателей из предложенной системы.

Рисунок 6

Зависимость качества классификации событий и величины вероятности дефолта от значений рейтинга

Рисунок 7

ROC-кривая и кривая Лоренца

Для этого с помощью метода множественной регрессии построим новую рейтинговую систему CAMEL. Для наглядности будем использовать множественную линейную регрессию:

где Y — зависимая переменная;

X_i — объясняющие переменные (факторы);

— коэффициенты множественной регрессии.

В качестве зависимой переменной на отчетную дату будем использовать значение дихотомического признака появления события «отсечки» (0 — «отсечки» нет, 1 — «отсечка») в течение предыдущего года, а в качестве объясняющих переменных — значения аналитических показателей, входящих в предложенную выше систему CAMEL, на отчетную дату годовой давности.

Построение модели множественной линейной регрессии проводилось на тех же исходных данных финансовой отчетности с помощью функционала ПК «ФРМ». Из 31 заданного аналитического показателя значимыми оказались 23. Итоговая регрессионная модель значения рейтинговой оценки (вероятности дефолта) в зависимости от значений аналитических показателей выглядит следующим образом:

Следует сказать, что в отличие от логит- или пробит-регрессионных моделей модель линейной регрессии в общем виде может выдавать значения меньше 0% и больше 100%. В этих случаях величина рейтинговой оценки (вероятности дефолта), которая рассчитывается с помощью модели линейной регрессии, равна либо 0%, либо 100% соответственно.

Оценим качество построенной регрессионной модели вероятности появления события «отсечки» (теоретического события дефолта) на годовом горизонте. Результаты анализа представлены на рис. 8 и 9. Итоговые значения AUC и индекса Джини составили 71,7 и 43,4% соответственно, что является допустимой оценкой прогностической и различающей способности построенной методики.

На гистограмме распределения кредитных организаций по величине вероятности дефолта на годовом горизонте, рассчитанной с использованием нового кредитного рейтинга CAMEL (рис. 10), видно, что оценка вероятности дефолта более половины кредитных организаций не превышает 6–8%, что говорит о достаточной адекватности созданной методики.

Рисунок 8

Зависимость качества классификации событий и величины вероятности дефолта от значений рейтинга

Рисунок 9

ROC-кривая и кривая Лоренца

В случае отсутствия достаточной статистики по реализованным дефолтам тщательно подобранные условия появления событий «отсечки» заемщиков позволяют коммерческому банку адекватно моделировать ситуации, при попадании в которые заемщики тео

Рисунок 10

Гистограмма распределения кредитных организаций в зависимости от величины вероятности дефолта

ретически могут объявить дефолт. При этом для системы оценки и управления кредитным риском не должно быть отличий между наступлением событий теоретического дефолта или непосредственным объявлением дефолта заемщиком. И в том и в другом случае считается, что вероятность невозврата кредитов таким заемщиком близка к 100% со всеми вытекающими отсюда последствиями по закрытию лимитов, созданию резервов под возможные потери и т.д.

Такой подход позволяет использовать статистику наступления событий теоретических дефолтов наряду со статистикой реально объявленных дефолтов как для оценки качества существующих внутренних рейтингов, так и для построения новых. Наиболее показательным инструментом оценки качества различающей и прогностической способности внутренних рейтингов является анализ ROC-кривой, в частности оценка величины AUC или индекса Джини. Для построения новых внутренних рейтинговых систем оценки вероятности дефолта удобнее всего применять методы множественной линейной регрессии, которые не отличаются особыми ограничениями и требованиями к законам распределения зависимой переменной и объясняющих факторов.

¹Фаррахов И.Т. Вероятность невозврата кредита. Оценка и применение // Оперативное управление и стратегический менеджмент в коммерческом банке. 2002. № 8.
²www.cbr.ru
³Львов В.С., Иванов В.В. Анализ финансового состояния коммерческих банков. М.: Издательство агентства «Яхтсмен», 1996.