декабрь    2024

Пн	Вт	Ср	Чт	Пт	Сб	Вс
						1
2	3	4	5	6	7	8
9	10	11	12	13	14	15
16	17	18	19	20	21	22
23	24	25	26	27	28	29
30	31

показать все 

29.11.2024

Сайберус создает новую ИБ-компанию на основе технологий и экспертизы F.A.C.C.T.

Читать далее 

29.11.2024

ГК InfoWatch представила новую версию InfoWatch ARMA Стена (NGFW) 4.4.

Читать далее 

29.11.2024

ARinteg про архиватор ARZip: что изменилось в функционале и интерфейсе?

Читать далее 

29.11.2024

Avanpost представляет бесплатную и промышленную версии службы каталогов Avanpost DS

Читать далее 

29.11.2024

Новая версия «Блокхост-Сеть 4»: решение для импортозамещения

Читать далее 

показать все 

22.11.2024

Тандем технологий – драйвер инноваций.

Читать далее 

21.11.2024

ИИ: маршрут не построен, но уже проектируется

Читать далее 

18.11.2024

Глеб Шкрябин: «Надежные и масштабируемые системы — основа стабильной работы бизнеса в условиях больших нагрузок»

Читать далее 

14.10.2024

Елена Ситдикова: «На разработчиках программного обеспечения для транспорта лежит большая ответственность перед пассажирами»

Читать далее 

11.10.2024

Технологический ИИ-арсенал

Читать далее 

13.06.2024

Взгляд в перспективу: что будет двигать отрасль информационной безопасности

Читать далее 

18.04.2024

5 способов повысить безопасность электронной подписи

Читать далее 

18.04.2024

Как искусственный интеллект изменит экономику

Читать далее 

18.04.2024

Неочевидный САПР: выход ПО за рамки конструкторской деятельности

Читать далее 

18.04.2024

Скоро некому будет делать сайты и заниматься версткой

Читать далее 

показать все 

Главная / Архив номеров / 2018 / Выпуск №04 (77) / Нейросеть: дерево решений или случайный лес?

Рубрика: Машинное обучение

Анна Бучнева, Финансовый университет при Правительстве РФ

Нейросеть:
дерево решений или случайный лес?

Какой из методов машинного обучения хорош для применения в кредитном скоринге, предсказании ухода клиентов и обнаружении мошенничества в банках?

Положение коммерческих банков в настоящее время неустойчиво вследствие усиленного отзыва лицензий Центральным банком.

По сравнению с показателями за прошлый год за период с 01.11.2016 до 01.11.2017 количество банков на территории РФ уменьшилось с 643 до 572. Продолжает расти и доля просроченных платежей: за 2017 год она достигла 9,5% от общего объема ссуд. Центральный банк начинает вводить меры по снижению рисков банков, ужесточив ограничения по привлечению вкладов по ставкам выше рыночных. Начиная с 27.11.2017 максимальный размер превышения установленной ставки по вкладам составляет 2 процентных пункта (до вступления в силу данных изменений эта величина составляла 3,5 процентного пункта) [1].

Данная ситуация ставит банки в положение, когда адаптация к изменениям требований рынка и снижение банковских рисков играют для них ключевую роль. Большинство банков использует для этого аналитику множества данных, которые они получают посредством ИТ, для повышения эффективности функционирования многих сфер деятельности банка.

Методы класса машинного обучения относят к методам искусственного интеллекта. Суть их – в создании алгоритмов, которые предусматривают возможность самообучаться. Для осуществления обучения алгоритму предоставляется некое множество значений, в которых присутствует неизвестная зависимость между объектами и результатами. Обучаясь на данных объектах, чьи значения были получены при решении сходных задач, для которых обучается алгоритм, метод выявляет зависимости между объектами и результатами, входными и выходными значениями, что позволяет использовать алгоритм для решения данного типа задач с совершенно новыми входными данными, и, даже если такие значения не присутствовали в обучающем множестве, алгоритм подбирает релевантное решение задачи.

Многообразие входных объектов приводит к огромному разнообразию способов машинного обучения. Входными данными при обучении могут быть числовые описания объектов, описания связей между объектами (сходство, расстояние между ними), временные ряды, сигналы, изображения и так далее. Этот список расширяется с каждым годом вследствие появления новых способов обработки информации.

Основные способы машинного обучения

Алгоритмы машинного обучения могут использоваться во многих сферах, как правило, там, где необходима автоматизация решения сложных задач, для которых принято использовать знания и опыт человека. Машинное обучение используется при распознавании речи, рукописных текстов, образов, для разного вида диагностик, для прогнозирования и анализа [4].

Линейная множественная регрессия связывает зависимую переменную с линейной функцией независимых переменных. Задача построения линейной множественной регрессии сводится к поиску коэффициентов, при которых модель будет отражать зависимости между переменными, что позволит находить релевантное решение при наличии только входных переменных. Коэффициенты данного уравнения можно получить несколькими методами, в том числе методами машинного обучения, через обучающее множество.

Логистическая регрессия – этот метод машинного обучения также применяется при анализе кредитоспособности клиентов. Для оценки параметров уравнения логистической регрессии принято использовать метод максимального правдоподобия. Он заключается в подборе параметров таким образом, чтобы после подстановки данных в модель обеспечивалась максимальная вероятность осуществления события или принятия решения, которое соответствует данным.

Реализовать решение задач на основе логистической регрессии сложнее, чем через модель линейной регрессии, но современные вычислительные мощности позволяют это сделать. Однако данный метод не всегда может полностью отразить все взаимосвязи между переменными [5].

Метод деревьев классификации – еще один способ решения задачи кредитного скоринга. Зависимость значения результирующей переменной от остальных переменных представлена в виде иерархической структуры, то есть дерева. Эти древовидные структуры – наборы решений, которые способны генерировать правила классификации для конкретного набора данных [6], или «структура, которая может использоваться для разделения большой коллекции записей на последовательно меньшие наборы записей путем применения последовательности простых правил принятия решений» [7].

Достоинством данного метода является то, что он непараметрический (не используются некие вероятностные параметры, увеличивающие неопределенность результата), нет необходимости в построении предположений и допущений для применения алгоритма. Метод легко борется с «выбросами» – аномальными значениями, просто помещая их в отдельный узел, очищая от таких «шумов» остальные данные. Недостатками этого метода являются отсутствие стабильности и то, что он не подходит для построения деревьев с достаточно сложной структурой.

CHAID (Chi-squared Automatic Interaction Detection) – алгоритм, использующий в качестве критерия построения следующих уровней узлов значимость результата статистического теста. На каждом уровне дерева на основе результатов тестов алгоритм выявляет независимую переменную, оказывающую наибольшее влияние на зависимую переменную, и затем исходя из этого результата выстраивает следующий уровень узлов. Затем алгоритм повторяется и выявляется следующая переменная, оказывающая наибольшее влияние на результат. В результате выполнения алгоритма, кроме дерева классификации, выделяются наборы признаков, которые сильнее всего влияют на результат.

Последние исследования в различных областях показывают, что деревья классификации уступают в эффективности логистической регрессии [9]. Еще одним недостатком этого подхода является склонность деревьев к «переобучению», что негативно сказывается на результатах модели при сильном изменении структуры или разбросе значений входных данных [10].

Широко используются и искусственные нейронные сети. В основе нейросетей лежит представление о том, что нейрон – это простой элемент, который можно промоделировать. А вся сложность человеческого мышления происходит из огромного количества нейронов (в человеческом мозгу их более 1010) и сложности связей между ними. Нейросеть позволяет обнаружить сложные, нелинейные и нетривиальные зависимости между характеристиками клиента и его платежеспособностью: вернет ли он кредит в срок или нет, которые невозможно обнаружить с помощью логистической регрессии и деревьев классификации [10].

Искусственные нейронные сети уже широко применяются в крупных финансовых компаниях: Lloyds Bowmaker Motor Finance использует нейросети для принятия решений в автокредитовании; Security Pacific Bank – в кредитовании малого бизнеса и так далее.

Самым важным недостатком нейросетевых моделей является сложность интерпретации, так как структура нейронной сети не позволяет описать взаимосвязи простым способом.

Следующий метод – метод случайного леса, который также называется композицией деревьев. Для реализации алгоритма строится несколько деревьев решений для различных комбинаций обучающей выборки. Финальная классификация происходит путем усреднения результатов всех поддеревьев, этот результат и является решением задачи кредитного скоринга.

Преимуществами применения данного метода являются высокая масштабируемость алгоритма и распараллеливание вычислений. Кроме того, ошибка алгоритма не увеличивается при увеличении числа алгоритмов. Недостаток – большой размер моделей и, следовательно, большие затраты на вычисления [13].

Метод опорных векторов является обучающейся моделью для анализа данных и распознавания образов, использующейся для классификации и регрессионного анализа. Суть метода – повышение размерности пространства, что позволяет обнаружить разделяющие гиперплоскости между исходными векторами значений.

Наивный байесовский классификатор – простой вероятностный классификатор, основанный на применении теоремы Байеса со строгими предположениями о независимости. Несмотря на грубые допущения, байесовский классификатор очень хорошо работает в сложных реальных ситуациях и не требует большого количества данных для обучения. Классификатор достиг хороших результатов по задаче прогнозирования оттока для индустрии беспроводной связи [14].

Методы для кредитного скоринга (credit score)

Одно из самых популярных направлений банковской деятельности, в которой используют методы машинного обучения, – это кредитный скоринг, то есть оценка кредитоспособности клиентов. Для проведения риск-менеджмента при кредитовании и повышения доходности кредитных операций банку необходимо объективно оценить кредитоспособность клиента, и для этого используется большое количество данных о клиенте: данные заявлений, данные о счетах, кредитная история и так далее. Анализируется и персональная информация о клиенте, так как существует очень много факторов, которые могут повлиять на то, вернет ли клиент кредит в срок или нет. Данная мера предосторожности при розничном кредитовании позволяет оценить кредитные риски банка и не может быть проигнорирована, особенно при текущей ситуации роста кредитования в РФ [15].

Всего в кредитном скоринге выделяются четыре следующих направления:

• Application-scoring, то есть анализ заявок, направленный на определение потенциального риска выдачи кредита, на основании доступных данных о заемщике.
• Fraud-scoring, скоринг против мошенничества, призванный определить вероятность того, что потенциальный заемщик является мошенником. Это также проводится на основании анализа заявки заемщика и информации о заемщике, полученной банком из других источников, кроме заемщика (его кредитная история, наличие судимостей и так далее).
• Behavioural-scoring, скоринг поведения заемщика, проводится на основании анализа кредитной истории заемщика и в принципе его финансовых операций в целях предсказания дальнейшего поведения заемщика в процессе обслуживания кредита.
• Collection-scoring определяет суровость мер, применяемых к заемщикам, просрочившим выплаты по кредиту. Данные меры в зависимости от заемщика могут ранжироваться от предупреждающего звонка до немедленной передачи дела коллекторам.

Как правило, машинное обучение используется для Application-scoring, но это не исключает использования методов машинного обучения для остальных видов скоринга. Для анализа используются доступная информация о клиенте, персональные данные, история и т.д.

Результирующей зависимой переменной является заключение о том, кредитоспособен ли потенциальный заемщик или нет, или же классификация заемщиков на несколько классов [16].

Какой метод машинного обучения выбрать в кредитном скоринге? Для тестирования эффективности применения рассмотренных выше методов будет использован набор заявок на кредиты со следующими характеристиками:

• объем обучающего множества 2000, из них 1658 кредитов было выплачено в срок, 342 – нет,
• объем тестового множества 200, из них 166 кредитов было выплачено в срок, 34 – нет.

Структура обучающих данных состоит из полей:

• возраст,
• пол,
• срок проживания в одном месте,
• срок работы на одном месте,
• владение банковским счетом,
• владение недвижимостью,
• владение полисом по страхованию жизни.

Результатом является факт, был ли возвращен кредит в срок или нет.

Для проведения экспериментов были использованы возможности языка программирования Python. Для сравнения эффективности применения методов использована точность (precision) классификации.

Как видно по этим результатам (см. таблицу 1), линейная регрессия обладает худшим качеством, из чего следует, что связи между переменными при решении задачи скоринга обладают нелинейными зависимостями.

Таблица 1. Сравнение методов для кредитного скоринга

Применение дерева решений и случайного леса показывает большую разницу между результатами на обучающем и тестовом множестве, что свидетельствует о переобучении модели.

Самый высокий и стабильный результат получен с использованием нейросети. Но при использовании нейросети для целей кредитного скоринга нужно помнить, что при разных параметрах нейронной сети результаты различны. Чтобы избежать переобучения модели, всегда необходимо проверять результаты на обучающем и тестовом множестве.

Методы для предсказания ухода клиентов (churn prediction)

Управление отношениями с клиентами (CRM) – это комплексная стратегия построения, управления и укрепления лояльных и долгосрочных отношений с клиентами. Она широко используется и применяется в сферах банковского страхового, розничного рынка и т.д. В рамках данной стратегии одной из главных задач компании является сохранение клиентов. Важность этой задачи очевидна, учитывая тот факт, что стоимость приобретения клиента гораздо больше, чем стоимость удержания клиента (в некоторых случаях в 20 раз дороже [17]). Таким образом, инструменты для разработки и применения моделей удержания клиентов (моделей оттока клиентов) необходимы [18].

Уход клиентов может быть результатом низкого уровня удовлетворенности клиентов, агрессивных конкурентных стратегий, отторжения новых продуктов и т.д. Модели оттока призваны выявлять ранние сигналы оттока клиентов и распознать клиентов, которые с высокой вероятностью собираются уйти [19].

Для методов машинного обучения необходимо собрать обучающие данные, главная задача которых максимально подробное описание клиента. Для этой цели могут использоваться следующие показатели:

• Социально-демографические данные (пол, возраст, место проживания, доход, образование и т.д.).
• Транзакционные данные (число и сумма транзакций за период, сгруппированные по различным критериям, и т.д.).
• Продуктовые и сегментационные данные (изменение числа контрактов, принадлежность к группе внутренней сегментации банка и т.д.).

Целевая переменная, показывающая вероятность оттока, очевидно, напрямую зависит от изменения транзакционной активности клиента, а также от категории клиента, его персональных данных и так далее (например, клиент, который обслуживается в этом банке уже много лет, поменяет его с меньшей вероятностью, чем клиент, который открыл свой счет только месяц назад). После определения группы клиентов с повышенным риском оттока применяются методы удержания клиентов путем предоставления выгодных акций, предложений и т.д. [20].

Какой из методов машинного обучения оптимален при предсказании ухода клиентов? Для тестирования были использованы данные банков с информацией о клиентах и их уходе из банка, предоставленные в открытом доступе, со следующими характеристиками:

• объем обучающего множества 9000, из них 7171 клиент остался в банке, 1829 – нет,
• объем тестового множества 1000, из них 792 клиента остались в банке, 208 – нет.

Структура обучающих данных состоит из полей:

• оценка кредитоспособности,
• место проживания,
• пол,
• возраст,
• наличие недвижимости,
• баланс на счете,
• количество используемых банковских услуг,
• наличие кредитной карты,
• активность клиента,
• приблизительная зарплата.

Результатом является факт, ушел ли клиент из банка или нет.

Для проведения экспериментов были использованы возможности языка программирования Python. Для сравнения эффективности применения методов использована точность (precision) классификации – доля объектов, действительно принадлежащих классу, относительно всех объектов, которые система отнесла к классу.

Как видно по этим результатам (см. таблицу 2), линейная регрессия, логистическая регрессия и байесовский классификатор обладают низким, но стабильным качеством оценки. Дерево решений и метод опорных векторов переобучились, имея стопроцентный результат на обучающем множестве, но очень низкий результат на тестовом множестве.

Таблица 2. Сравнение методов для предсказания ухода клиентов

Оптимальный результат показало применение случайного леса. Эта модель имеет стабильное и высокое качество оценки. Но при этом необходимо учитывать, что применение данного алгоритма может привести к дополнительным затратам в ИТ-инфраструктуре, поэтому перед принятием решения использовать данную методику необходимо оценить финансовую эффективность ее внедрения.

Методы для обнаружения мошенничества (fraud detection)

В банковской деятельности действия мошенников наносят вред не только материального и денежного характера, они подрывают один из самых ценных и сложно добываемых качеств банка – доверие клиентов и репутацию. Коммерческие компании теряют около 5% годовой выручки из-за мошеннических операций, более 150 000 долларов теряют компании в результате внутреннего мошенничества сотрудников, а потери компаний, не использующих системы обнаружения мошенничества, в среднем в два раза больше вышеуказанных [21].

Виды мошенничества в банковских системах подразделяются на внешние – когда мошеннические действия проводятся злоумышленниками, находящимися за пределами банка, и внутренние – когда к ним причастны непосредственно сотрудники банка.

По каналам реализации мошенничество подразделяется на следующие виды:

• отделения банка (включает в себя неправомерное зачисление, заимствование, списание денежных средств и т.д.);
• банковские и платежные карты (раскрытие реквизитов карт и т.д.);
• «фишинг» – введение клиента в заблуждение в целях осуществления операций с его счетом;
• дистанционное банковское обслуживание (изменение клиентской информации, замена реквизитов, несанкционированные переводы и т.д.).

Для разных мошеннических схем характерны разные действия по подготовке и реализации, следовательно, для обнаружения также используются разные методики с разными обучающими данными [22].

Применение машинного обучения позволяет снизить риски от преступной деятельности, частоту ошибочного определения мошенничества и количество пропусков реальных случаев мошенничества. Так, крупная финансовая компания American Express использует системы, основанные на нейронных сетях, для выявления мошенничества в использовании кредитных карт.

В основу анализируемых данных ложатся результаты многоуровневого мониторинга информационных систем организации и аналитика всех событий в режиме реального времени. Для анализа используются история транзакций, мониторинг активности клиентов, мониторинг частоты платежей, изменения профиля учетной записи, мониторинг взаимодействия между учетными записями, частые денежные переводы с разных счетов на один и т.д. [23].

Методы машинного обучения в данном случае призваны выявить шаблоны мошеннических операций, обрабатывать сложные сигналы (видео, аудио), обнаруживать сложные и быстроизменяющиеся зависимости и т.д.

Какой из методов машинного обучения выбрать для обнаружения мошенничества в банке? Для тестирования были использованы данные банков с информацией о финансовых транзакциях, проведенных банком, которые находятся в открытом доступе, со следующими характеристиками:

• объем обучающего множества 10 000, из них 9932 операции не являются мошенническими, а 68 являются,
• объем тестового множества 1000, из них 996 операций являются нормальными, 4 – мошенническими.

Структура обучающих данных состоит из полей:

• тип операции (платеж, выдача наличных и т.д.),
• сумма операции,
• состояние баланса отправителя до и после совершения операции,
• состояние баланса получателя до и после совершения операции.

В результате получается информация о том, является ли транзакция мошеннической или нет.

Для проведения экспериментов были использованы возможности языка программирования Python.

Из-за того, что искомое событие очень редкое, для сравнения эффективности используем меру полноты классификации – доли найденных объектов, принадлежащих классу, относительно всех объектов этого класса в выборке.

Проанализируем этот показатель отдельно для обычных операций и мошеннических.

Результаты очень неровные, что является следствием структуры обучающей и тестовой выборок (см. таблицу 3). Поэтому для выбора метода, который следует применять, необходимо решить, что именно является приоритетом для банка: чаще обнаруживать мошеннические операции, но с ними и классифицировать часть нормальных операций тоже как мошеннические, или выявлять мошеннические операции реже, но зато без ошибок.

Таблица 3. Сравнение методов для обнаружения мошенничества

Лучше всего себя показало применение двух методов – деревьев решений и случайного леса, обнаруживших больше всего мошеннических операций на тестовом множестве.

//Результаты анализа свидетельствуют о том, в банковской сфере разные методы машинного обучения демонстрируют разные результаты при различных структурах данных, поэтому невозможно определить один наилучший метод. При использовании этих методов в реальных ситуациях необходимо после обучения провести оценку результатов и выбрать оптимальный для данного случая метод.

1. Сайт Банка России. Статистика [Электронный ресурс] // URL: http://www.cbr.ru/statistics/ (дата обращения 20.11.2017).
2. Danilo Bzdok Martin Krzywinski Naomi Altman. Machine learning: Supervised methods. Nature Methods 15(1), 2018.
3. Machine Learning and Optimization [Электронный ресурс] // Official website of NY University, Computer science department. URL: https://www.cims.nyu.edu/~munoz/files/ml_optimization.pdf (дата обращения 20.12.2017).
4. Burell J. How the machine ‘thinks’: Understanding opacity in machine learning algorithms // Big Data & Society. 2016. Vol. 3. No. 1.
5. LongW.J., Griffith J.L., Selker H.P. D’Agostino R.B. A Comparison of Logistic Regression to Decision-Tree Induction in a Medical Domain. // Computers in Biomedical Research. – 2003.
6. S. J. Lee, K. Siau. A review of data mining techniques, Industrial Management & Data Systems 101 (1), 2001.
7. G. S. Linoff, M. J. Berry. Data mining techniques: for marketing, sales, and customer relationship management, John Wiley & Sons, 2011.
8. Breiman L., Friedman J. H., Olshen R. A., Stone C. J. Classification and regression trees. Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software, 1984.
9. Long W.J., Griffith J.L., Selker H.P. D’Agostino R.B. A Comparison of Logistic Regression to Decision-Tree Induction in a Medical Domain. // Computers in Biomedical Research. – 2003. – 25.
10. Owczarczuk M. Churn models for prepaid customers in the cellular telecommunication industry using large data marts // Expert Systems with Applications. – 2010. – 37.
11. Multilayer Perceptron Neural Networks [Электронный ресурс] Website of DTREG company. URL: https://www.dtreg.com/ solution/view/21 (дата обращения 20.12.2017).
12. West D. Neural network credit scoring models. Computes and Operations Research. – 2000.
13. Shin Y. Application of Boosting Regression Trees to Preliminary Cost Estimation in Building Construction Projects. // Computational Intelligence and Neuroscience. 2015, рр. 201-209.
14. S. V. Nath, R. S. Behara, Customer churn analysis in the wireless industry: A data mining approach, in: Proceedings-Annual Meeting of the Decision Sciences Institute. 2003, pp. 505–510.
15. D. Zhang, H. Huang, Q. Chen and Y. Jiang. «Comparison of credit scoring models» Third International Conference of Natural Computation. 2007.
16. Thomas L.C., Edelman D.B., Crook J.N. Credit Scoring and Its Applications. SIAM, 2002.
17. The Chartered Institute of Marketing, Cost of customer acquisition versus customer retention (2010).
18. Owczarczuk M. Churn models for prepaid customers in the cellular telecommunication industry using large data marts // Expert Systems with Applications. – 2010.
19. V. L. Miguis, D. Van den Poel, A. S. Camanho and J. Falc˜ao e Cunha, «Modeling partial customer churn: On the value of first product-category purchase sequences», Expert systems with applications, vol. 39, no. 12.
20. E. W. Ngai, L. Xiu and D. C. Chau, «Application of data mining techniques in customer relationship management: A literature review and classification», Expert systems with applications, vol. 36, no. 2, 2009.
21. ACFE’s 2016 Global Fraud Study, Report to the Nations on Occupational Fraud and Abuse.
22. R Bolton and D Hand. «Statistical fraud detection: A Review», Statistical Science, vol. 17, no. 3, pp. 235-249, August 2002.
23. SAS, «SAS Fraud Managemen», SAS Institute Inc, Technical Report, 2007.

В начало⇑

Комментарии отсутствуют

Комментарии могут отставлять только зарегистрированные пользователи