Главная Обратная связь Поможем написать вашу работу!

Дисциплины:

Архитектура (936)
Биология (6393)
География (744)
История (25)
Компьютеры (1497)
Кулинария (2184)
Культура (3938)
Литература (5778)
Математика (5918)
Медицина (9278)
Механика (2776)
Образование (13883)
Политика (26404)
Правоведение (321)
Психология (56518)
Религия (1833)
Социология (23400)
Спорт (2350)
Строительство (17942)
Технология (5741)
Транспорт (14634)
Физика (1043)
Философия (440)
Финансы (17336)
Химия (4931)
Экология (6055)
Экономика (9200)
Электроника (7621)






Построение дерева решений в системе See5



 

Основные этапы обработки и анализа данных при построении дерева решений в системе See5 проиллюстрируем на конкретном примере. Рассмотрим задачу оценки кредитного риска с использованием следующих признаков клиента: возраста, трудового стажа, дохода, категории работодателя, кода консультанта и кредитной истории. Выборка содержит 198 объектов. Фрагмент выборки представлен в таблице 2.1.

Таблица 2.1 Данные о кредитном риске

  Возраст Трудовой стаж Доход Категория работодателя Первичная иденти-фикация Кредитная история Значения
21-50 3-12 мес 5-10 тр индивидуальный предприниматель да отрицательная отказ
21-50 3-12 мес 5-10 тр индивидуальный предприниматель нет отсутствует необходима дополнительная проверка
21-50 3-12 мес 5-10 тр частная компания да положительная отказ
21-50 3-12 мес 5-10 тр государственная компания да отрицательная отказ
21-50 3-12 мес более 20 тр индивидуальный предприниматель да отрицательная отказ
21-50 3-12 мес более 20 тр индивидуальный предприниматель нет отсутствует необходима дополнительная проверка
21-50 3-12 мес более 20 тр частная компания нет положительная положительное решение
21-50 более 1 года 5-10 тр индивидуальный предприниматель нет положительная необходима дополнительная проверка
21-50 более 1 года 5-10 тр частная компания да отрицательная отказ
21-50 более 1 года 5-10 тр государственная компания нет отрицательная отказ
21-50 более 1 года 5-10 тр государственная компания нет отсутствует необходима дополнительная проверка
21-50 более 1 года 5-10 тр государственная компания нет положительная положительное решение
21-50 более 1 года более 20 тр индивидуальный предприниматель нет отсутствует необходима дополнительная проверка
21-50 более 1 года более 20 тр индивидуальный предприниматель нет положительная необходима дополнительная проверка
21-50 более 1 года более 20 тр частная компания да отрицательная отказ
21-50 более 1 года более 20 тр государственная компания нет отрицательная отказ
51-65 3-12 мес 5-10 тр индивидуальный предприниматель нет отсутствует необходима дополнительная проверка
51-65 3-12 мес 5-10 тр частная компания нет положительная необходима дополнительная проверка
51-65 3-12 мес 5-10 тр государственная компания да отрицательная отказ
51-65 3-12 мес 10-20 тр частная компания да отрицательная отказ

В табл. 2.2 приведены обозначения и описание используемых в работе переменных.



Таблица 2.2 Обозначение и описание используемых переменных

Возраст (age) Трудовой стаж (stag) Доход (income) Категория работодателя (employer_type) Первичная идентификация (consultant_ID) Кредитная история (credit_history) Решение (credit_decision)
21-50 менее 3 мес менее 5 тр индивидуальный предприниматель да отрицательная отказ
51-65 3-12 мес 5-10 тр частная компания нет отсутствует необходима дополнительная проверка
более 1 года 10-20 тр государственная компания положительная положительное решение
более 20 тр

Построение дерева решений включает следующие этапы.



1. Подготовка данных для анализа. Подготовка данных для анализа в системе See5 предполагает создание двух обязательных файлов: файла имен переменных и файла данных.

1.1 Файл имен переменных содержит перечисление имен разделяющих признаков и указанием классифицирующего признака. Файл создается в любом текстовом редакторе и сохраняется с расширением *.names.

Файл имен переменных credit.names в нашей задаче выглядит следующим образом (рис. 2.1).

Рис. 2.1. Файл имен переменных

Среди признаков различают две важные подгруппы:

· номинальные признаки (discrete attribute), количественные признаки (continuous attribute) и метки;

· явно определенные признаки, значения которых берутся непосредственно из файла данных, и неявно определенные признаки, задаваемые формулами (чаще всего употребляются явно определенные признаки).

При подготовке файла имен переменных следует иметь в виду, что пробелы, пустые строки и знаки табуляции игнорируются системой (кроме, конечно, случаев, когда они применяются в именах переменных). Вертикальная черта «|» предназначена для записи напоминаний или комментариев.

После имени каждой явно определенной переменной вставляется двоеточие «:», а затем следует характеристика этой переменной. Возможны следующие характеристики:

· continuous — количественный признак;

· список значений переменной, разделенных запятой (для дискретной, номинальной переменной);



· максимальное значение N для дискретной переменной (эту характеристику рекомендуется применять очень осторожно, так как здесь исключается дополнительная проверка данных при их вводе в анализ);

· ignore — для признака, исключаемого из анализа;

· label — метка для идентификации отдельного объекта.

После имени каждой неявно определенной переменной также следует двоеточие и далее записывается формула. В формуле используются, где необходимо, скобки, а дискретные признаки ограничиваются кавычками. Ниже приведены доступные операторы:

· +, -, *, /, % (mod), ^ (возведение в степень);

· >, >=, <, <=, =, <> или != (не равно);

· and, or;

· sin(...), cos(...), tan(...), log(...), exp(...), int(...).

В зависимости от применяемой формулы конечный результат может быть как количественным, так и давать логическое значение true/false.

1.2 Файл данных содержит сведения об объектах. В файле по строкам располагаются объекты, а по столбцам признаки, причем в том порядке, в котором они заданы в файле имен переменных. Если значение целевой переменной находится вверху файла имен переменных, строка начинается со значения этой целевой переменной. Затем через запятую следуют значения всех остальных признаков. Файл создается в любом текстовом редакторе и сохраняется с расширением *.data.

Файл данных credit.data в нашей задаче выглядит следующим образом (рис. 2.2).

Рис. 2.2. Файл данных

2. Задание начальных параметров и построение ДР. В главном окне See5 располагается кнопки (рис. 2.3), предназначение которых представлено в табл. 2.3.

Таблица 2.3 Назначение кнопок меню

Кнопка Назначение
Locate Data Вызов окна для просмотра доступных файлов данных и их загрузки в систему
Construct Classifier Обращение к окну диалога для выбора типа классификатора и установки его параметров
Stop Останов процесса построения дерева решений
Use Classifier Запуск процесса интерактивной классификации одного или более объектов
Cross-Reference Вызов окна, в котором наглядно раскрываются связи между объектами обучающей выборки и найденными правилами их классификации

 

Рис. 2.3. Главное окно See5

Все перечисленные функции доступны также из меню File. В свою очередь, в меню Edit предоставляется возможность редактирования файла имен данных и файла стоимости ошибок классификации.

Для построения ДР необходимо загрузить данные из файла данных в систему See5 (Locate Data) и построить классификатор (Construct Classifier).

3. Анализ полученного дерева решений производится на основе сформированного в See5 отчета (рис.2.4).

 

Рис. 2.4. Отчет See5

В первой строке отчета о результатах дается информация об используемой версии системы See5 и время, затраченное на создание отчета. Затем в следующих двух строках говорится о том, что прочтенный файл данных credit.data содержит 198 объектов, каждый из которых описан 6 признаками.

В следующих строках отчета отображено построенное ДР.

Каждая ветка дерева заканчивается указанием номера класса, к которому она приводит. Сразу за номером следует запись вида («) или (n/m). Например, самая первая ветка заканчивается записью (99). Это означает, что данной ветке соответствует 99 объектов из определенного класса (отказ). Величины n или m могут оказаться дробными в случае, когда на какую-либо ветку придется некоторое число объектов с неизвестными значениями признаков.

В следующем разделе отчета приводятся характеристики сконструированного классификатора, оцениваемые на обучающей выборке. Здесь мы видим, что построенное дерево решений имеет 8 веток (size = 8), а ошибка классификации наблюдается на 3 объектах, что составляет 1,5 %.

В завершающей части отчета дается таблица с детальным разбором результатов классификации. Исходя из данных этой таблицы, можно сказать, что из первого класса (отказ) правильно классифицируются 132 объекта; среди объектов второго класса (необходима дополнительная проверка) 45 диагностируются правильно, а 2 ошибочно (класс 3, положительное решение); все объекты третьего класса (положительное решение) классифицируются правильно за исключением одного ошибочно классифицированного объекта, попадающего в класс 2.

В отчете также содержится сообщение о затраченном на решение времени. Следует отметить, что See5 обладает высоким быстродействием, что позволяет оперативно обрабатывать высокоразмерные массивы информации, содержащие тысячи и десятки тысяч записей.

4. Преобразование дерева решений в набор правил. В ряде случаев полученное ДР может оказаться слишком сложным для восприятия. Например, при решении задач высокой размерности для неоднородных данных дерево нередко получается слишком громоздким. Вместо того, чтобы рассматривать каждую ветвь ДР можно воспользоваться предусмотренной в See5 возможностью преобразования дерева решений в набор правил IF...THEN. Для этого требуется вызвать окно диалога для заданий параметров конструируемого алгоритма (Construct Classifier) и поставить флажок в поле Rulesets (набор правил). После проведения такой операции система добавляет в окно отчета список правил, соответствующих рассчитанному дереву решений (рис.2.5).

Рис. 2.5. Список правил See5

Каждое правило состоит из следующих фрагментов:

· номера правила;

· количества объектов обучающей выборки, подпадающих под действие правила («n»);

· одного или нескольких элементарных логических событий, входящих в состав правила;

· номера класса, которому соответствует данное правило;

· величины, принимающей значение от 0 до 1, которая выражает степень доверия к правилу (характеристика точности правила).

5. Более подробный анализ результатов классификации проводится при помощи перекрестных ссылок. Для этого необходимо в главном окне See5 нажать кнопку Cross-Reference (перекрестная ссылка). Система выдаст окно, в левой половине которого нарисовано построенное дерево решений, а в правой половине перечислены объекты, попавшие на ту или иную ветвь дерева (рис. 2.6). Чтобы выделить интересующую ветвь, нужно щелкнуть по ней левой кнопкой мыши (справа от ветви появится темный круг). Кроме того, если щелкнуть мышью по номеру какого-либо объекта из правого поля, то система выдаст еще одно окно с именем Case, в котором приводятся значения признаков и выделенного объекта.

Рис. 2.6. Окно задания перекрестных ссылок

6. В системе See5 реализована возможность усиления решения. Идея усиления решения заключается в конструировании не одного, а сразу нескольких деревьев решений. Главное требование к ДР заключается в том, чтобы они как можно меньше дублировали друг друга. Для этого необходимо на первом шаге построить начальное ДР. При этом классификатор, построенный на основе начального дерева, дает ошибки на некоторых объектах.

На втором шаге при конструировании следующего дерева делается попытка избежать ранее сделанных ошибок. Следствием такой попытки считается существенное отличие второго дерева от начального. Полученное дерево также будет приводить к ошибочным решениям, но уже на других объектах. На следующем шаге работы алгоритма очередное дерево строится с учетом ошибок всех предыдущих деревьев решений.

Для запуска процесса усиления решения требуется установить флажок Boost в диалоговом окне для задания параметров работы алгоритма. Кроме того, в этом же окне нужно задать общее число строящихся ДР. Это число проставляется в поле trials.

В результате построения такой совокупности деревьев решений значительно повышается точность классификации. В рассматриваемом примере после проведения усиления решения (построения трех деревьев решений) количество ошибочно классифицированных объектов снизилось с 1,5% до 0,5%. Ошибочно классифицированным оказался лишь один объект. Деревья решений, полученные в результате усиления решения, приведены на рис. 2.7.

7. В режиме консультации выполняется проверка эффективности построенной системы при помощи команды File, Use classifier. После выполнения команды станет доступным окно задания исходных значений переменных, результат анализа которых будет сформирован в виде рекомендуемого решения с коэффициентом уверенности (рис. 2.8).

Рис. 2.8. Режим консультации

 


----- Trial 0: -----

Decision tree:

consultant_ID = да: отказ (99)

consultant_ID = нет:

:...credit_history = отрицательная: отказ (33)

credit_history = отсутствует: необходима дополнительная проверка (33/1)

credit_history = положительная: [S1]

 

SubTree [S1]

employer_type = индивидуальный предприниматель: необходима дополнительная проверка (11/1)

employer_type = государственная компания: положительное решение (11)

employer_type = частная компания:

:...stag = более 1 года: положительное решение (5)

stag = 3-12 мес:

:...age = 21-50: положительное решение (3/1)

age = 51-65: необходима дополнительная проверка (3)

 

----- Trial 1: -----

Decision tree:

consultant_ID = да: отказ (86.8)

consultant_ID = нет:

:...credit_history = отрицательная: отказ (28.9)

credit_history = отсутствует:

:...income = 5-10 тр: необходима дополнительная проверка (10.5)

: income = 10-20 тр: необходима дополнительная проверка (10.5)

: income = более 20 тр: [S1]

credit_history = положительная:

:...income = 5-10 тр: [S2]

income = 10-20 тр: [S3]

income = более 20 тр:

:...age = 21-50: положительное решение (13.4/0.9)

age = 51-65: необходима дополнительная проверка (2.6/0.9)

 

SubTree [S1]

employer_type = индивидуальный предприниматель: положительное решение (10.8/1.8)

employer_type = частная компания: необходима дополнительная проверка (2.6)

employer_type = государственная компания: необходима дополнительная проверка (2.6)

 

SubTree [S2]

employer_type = индивидуальный предприниматель: необходима дополнительная проверка (3.5)

employer_type = частная компания: необходима дополнительная проверка (11.6/1.8)

employer_type = государственная компания: положительное решение (3.5)

 

SubTree [S3]

employer_type = индивидуальный предприниматель: необходима дополнительная проверка (3.5)

employer_type = частная компания: положительное решение (3.5/0.9)

employer_type = государственная компания: положительное решение (3.5)

 

----- Trial 2: -----

Decision tree:

consultant_ID = да: отказ (77.7)

consultant_ID = нет:

:...credit_history = отрицательная: отказ (25.9)

credit_history = отсутствует: необходима дополнительная проверка (38.9/6.9)

credit_history = положительная:

:...employer_type = государственная компания: положительное решение (12.1)

employer_type = индивидуальный предприниматель:

:...stag = 3-12 мес: положительное решение (10.9/3.9)

: stag = более 1 года: необходима дополнительная проверка (7.4)

employer_type = частная компания:

:...stag = 3-12 мес: необходима дополнительная проверка (14.3/1.6)

stag = более 1 года: положительное решение (10.8)

Evaluation on training data (198 cases):

Trial Decision Tree

----- ----------------

Size Errors

0 8 3( 1.5%)

1 15 7( 3.5%)

2 8 8( 4.0%)

boost 1( 0.5%) <<

(a) (b) (c) <-classified as

---- ---- ----

132 (a): class отказ

46 (b): class необходима дополнительная проверка

1 19 (c): class положительное решение

Time: 0.1 secs

Рис. 2.7. ДР после усиления решения

Задание на лабораторную работу, требования к содержанию отчета

 

1. Изучить методику обнаружения знаний в данных на основе построения деревьев решений в заданной предметной области в системе See5.

2. Подготовить данные для анализа в выбранной предметной области. Сформировать файл данных и файл имен переменных.

3. Загрузить систему See5.

4. Построить дерево решений, выполнить его анализ.

5. Преобразовать дерево в набор правил. Дать характеристику правилам.

6. Выполнить подробный анализ результатов классификации при помощи перекрестных ссылок.

7. Выполнить усиление решения. Дать характеристику полученным результатам.

8. Выполнить проверку эффективности разработанной системы в режиме консультации.

9. Оформить отчет, который должен содержать: цель работы, описание задачи, файл имен переменных, файл данных, дерево решений, набор правил, раздел формирования ошибок, перекрестные ссылки, результаты работы в режиме консультации.

Контрольные вопросы.

 

1. Назначение деревьев решений.

2. Основные этапы анализа данных в системе See5

3. Режимы работы системы See5.

4. Какие методы используются для интеллектуального анализа данных?

5. Как можно оценить качество построения дерева решений?

6. Какая модель представления знаний основана на опыте экспертов?

7. Охарактеризуйте работу системы в режиме консультации.

8. Какая модель используется для представления знаний в программе See5?

 


Лабораторная работа № 3


Просмотров 1366

Эта страница нарушает авторские права




allrefrs.ru - 2021 год. Все права принадлежат их авторам!