STATISTICA ScoreCard

STATISTICA Scorecard – программный продукт для автоматизированного построения, управления и оценки скоринговых моделей.

Процесс построения скоринговых карт можно условно разделить на 5 этапов. Каждый из этапов реализован в виде соответствующего модуля продукта STATISTICA Scorecard.

1. Подготовка данных (Data Preparation)

Отбор признаков (Feature Selection)

Построение атрибутов (Attribute Building)

2. Построение модели (Modeling)

Подготовка скоринговой карты (Scorecard Preparation)

Анализ времени до дефолта (Survival)

Использование отклоненных заявок (Reject Inference)

3. Оценка качества построенной модели, корректировка модели (Evaluation and Capbration)

Оценка качества модели (Model Evaluation)

Выбор точек отсечения (Cut-off Point Selection)

Скоринг новых наблюдений (Score Cases)

4. Мониторинг (Monitoring)

Анализ устойчивости (Population Stabipty)

5. Внедрение (Deployment)

Feature Selection

Модуль Feature Selection используется для исключения неважных или избыточных переменных в исходном наборе характеристик. Модуль определяет ранги переменных, используя две меры общей предсказательной мощности переменной: IV (Information Value – Информационная ценность) и V мера Крамера.

Основываясь на этих мерах, вы можете различить переменные, которые имеют существенное влияние на кредитный риск, и выбрать их для построения модели.

Опция Select representatives позволяет вам идентифицировать избыточность в численных переменных без анализа корреляционной матрицы всех переменных. Этот модуль создает наборы данных, состоящих из коррелированных характеристик, используя факторный анализ с вращением оценок. В каждом наборе переменные сильно коррелированы с одним фактором (и часто между собой), таким образом, вы можете легко выбрать лишь небольшое число переменных из набора.

Attribute Building

Скоринговая модель обычно строится на основе дискретных данных. Это означает, что прежде, чем приступить к построению модели необходимо разбить непрерывные переменные на категории (создать атрибуты).

Модуль Attribute Building позволяет выделять атрибуты для каждой переменной.

Атрибуты можно создавать и регулировать вручную, или же воспользоваться одним из предложенных методов: методом CHAID деревьев, по процентилям или вручную, чтобы они соответствовали какому-нибудь бизнес или статистическому критерию, например, гладкость профиля или простота в интерпретации.

Для анализа разбиения генерируются статистические меры предсказательной мощности каждого атрибута (WoE - Weight of Evidence, и IV - Information Value). Качество разбиения может быть оценено при помощи графика тренда Weight of Evidence (WoE).

Построенные атрибуты сохраняются в виде скрипта в формате XML и используются в дальнейшем в модуле Scorecard Preparation.

Scorecard Preparation

Модуль Scorecard Preparation используется для создания скоринговых карт, основываясь на атрибутах, подготовленных в модуле Attribute Building, и модели логистической регрессии.

Процесс построения скоринговых карт может быть упрощен, путем задания параметров по умолчанию. Для более тонкой настройки карты Вы можете выбрать один из методов построения модели:

• Прямого добавления;
• Обратного исключения;
• Прямой пошаговый;
• Обратный пошаговый;
• Лучшего подмножества;
• Bootstrap для всех эффектов.

В модуле также определяются значения, контролирующие то, как параметры логистической регрессии будут масштабированы (пересчитаны) в скоры скоринговой карты.

Когда модель построена, программой выводится подробный отчет о каждом этапе построения логистической модели, различные статистики, критерии для оценки качества модели и др.

Скоринговая карта сохраняется в формате Excel, XML или SVB скрипта.

Survival

Модуль Survival используется для построения скоринговых моделей при помощи модели пропорциональных рисков Кокса (Cox Proportional Hazard Model). Скоринговая модель строится с учетом информации о времени дефолта, вычисляется вероятность дефолта в заданный момент времени (например, через 6 или 9 месяцев и т.д.)

Reject Inference

Зачастую необходимо также анализировать случаи по отклоненным заявкам (когда заемщику сразу отказали в праве получения кредита). Так как в такой ситуации нет информации о выходном классе («хороший»/ «плохой»), данная информация может быть получена, используя алгоритм k-ближайших соседей или группировки. После проведения анализа будет сформирована новая таблица данных с полной информацией.

Model Evaluation

Модуль Model Evaluation используется для оценки и сравнения различных скоринговых моделей. Для оценки модели выбираются следующие статистические меры (по каждой из которых приводится детализированный отчет).

• Информационная ценность (IV);
• Статистика Колмогорова – Смирнова (Kolmogorov - Smirnov statistic);
• Индекс Джини (Gini index);
• Расходимость (Divergence);
• Статистика Хосмера-Лемешоу (Hosmer - Lemeshow statistic);
• Анализ кривой операционных характеристик (ROC);
• Лифтовые карты и карты выигрышей (Lift and Gain chart).

Также модуль формирует различные отчеты:

• Отчет с финальными скорами;
• Отчет по характеристикам;
• Таблица шансов;
• Карты «плохих» показателей.

Cut-off Point Selection

Выбор точек отсечения используется для определения скора, который будет оптимальным для разделения принятых и отклоненных заявок. Вы можете расширить процедуру приятия решения, добавив ещё одну или две точки отсечения (например, заявки со скором меньше 520 будут отклонены, заявки с оценкой выше 580 будут приняты, а с людей, подавших заявки с оценкой между этими двумя значениями, будет запрошена дополнительная информация).

Модуль предлагает различные способы выбора оптимальных точек отсечения, различные отчеты для анализа выбранного разбиения. Например, точка отсечения может быть выбрана, основываясь на Кривых Операционных Характеристик, с заданием пользовательской цены неправильной классификации.

Score Cases

Модуль Score Cases используется для оценивания новых наблюдений при помощи выбранной модели, сохраненной в виде скрипта в формате XML.

Population Stability

Модуль Population Stability предоставляет аналитические инструменты для сравнения двух массивов данных (например, текущий и исторический массивы данных) с целью определения существенных изменений в характеристиках структуры и популяции заявителей. Значительные искажения в текущем массиве данных могут означать, что требуется оценить параметры модели заново. Модуль предоставляет отчеты о стабильности характеристик популяции с соответствующими графиками.