Pohon Keputusan di R: Pohon Klasifikasi dengan Contoh
⚡ Ringkasan Cerdas
Pohon keputusan di R membagi data menjadi cabang-cabang menggunakan aturan ya atau tidak yang sederhana hingga setiap daun memiliki satu kelas dominan. Panduan ini membangun, memplot, mengevaluasi, dan menyempurnakan pohon klasifikasi rpart pada dataset kelangsungan hidup Titanic.

Apa itu Pohon Keputusan?
Pohon Keputusan Pohon keputusan adalah algoritma Machine Learning serbaguna yang dapat melakukan tugas klasifikasi dan regresi. Algoritma ini sangat ampuh, mampu menyesuaikan dataset yang kompleks. Selain itu, pohon keputusan merupakan komponen fundamental dari random forest, yang merupakan salah satu algoritma Machine Learning paling ampuh yang tersedia saat ini.
Sebelum membangunnya dalam kode, ada baiknya mengetahui bagaimana sebuah pohon menentukan di mana harus melakukan percabangan.
Bagaimana Cara Kerja Pohon Keputusan?
Pohon keputusan mengubah kumpulan data menjadi diagram alur pertanyaan ya atau tidak yang dibangun dari tiga jenis simpul: akar mencakup setiap pengamatan pelatihan, sebuah simpul internal mengajukan pertanyaan tentang satu prediktor dan membagi data menjadi dua, dan sebuah daun menghentikan pemisahan dan mengembalikan kelas mayoritas.
Pertumbuhan mengikuti prosedur serakah yang disebut partisi biner rekursif:
- Evaluasi setiap pembagian kandidat. Untuk setiap prediktor dan titik potong, ukur seberapa tidak murni kedua kelompok yang dihasilkan.
- Simpan yang terbaik. Pembagian yang paling mengurangi ketidakmurnian menjadi pertanyaan yang diajukan pada titik tersebut.
- Ulangi pada setiap anak sampai aturan kontrol menghentikannya: minsplit, minbucket, maxdepth, atau cp.
- Memangkas. cp kemudian memangkas cabang-cabang yang tidak menghasilkan keuntungan, yang mencegah pohon tersebut menghafal kumpulan data pelatihan.
Karena setiap pertanyaan membandingkan satu variabel dengan ambang batas, algoritma ini tidak pernah membutuhkan penskalaan atau pengkodean dummy.
Indeks Gini vs Entropi dalam Pohon Keputusan
Ketidakmurnian itu dapat diukur dengan dua cara, dan rpart memungkinkan Anda untuk memilihnya.
| Kriteria | Indeks Gini | Entropi (Perolehan Informasi) |
|---|---|---|
| Rumus | 1 – jumlah kuadrat proporsi kelas | -jumlah p kali log2(p) |
| Rentang (dua kelas) | 0 untuk 0.5 | 0 untuk 1 |
| Komputasi | Lebih cepat, tanpa logaritma | Lebih lambat, menggunakan logaritma |
| pengaturan rpart | Default | parameter = daftar(pisahkan = “informasi”) |
fit_entropy <- rpart(survived~., data = data_train, method = 'class', parms = list(split = "information"))
Dalam praktiknya, kedua kriteria tersebut sebagian besar memilih pembagian yang sama, sehingga indeks Gini default adalah pilihan yang aman.
Keuntungan dan Kerugian Pohon Keputusan
Pertimbangan-pertimbangan tersebut memberi tahu Anda kapan satu pohon saja sudah cukup dan kapan harus beralih ke ansambel.
Kelebihan
- Dapat diinterpretasikan sepenuhnya: Model yang dipasang adalah diagram yang dapat dibaca oleh setiap pemangku kepentingan.
- Praproses minimal: Tidak diperlukan penskalaan atau normalisasi, dan faktor-faktor tersebut bekerja secara bawaan.
- Menangani kedua tugas tersebut: Metode = 'class' menyesuaikan pengklasifikasi dan metode = 'anova' menyesuaikan pohon regresi.
- Cepat dilatih: Dataset besar dapat diolah dalam hitungan detik, sehingga pohon keputusan menjadi acuan awal yang berguna.
Kekurangan
- Varians tinggi: Perubahan kecil pada data pelatihan dapat menghasilkan pohon yang sama sekali berbeda.
- Rentan terhadap overfitting: Pohon yang tidak dibatasi akan tumbuh hingga setiap daunnya murni kecuali jika cp dan maxdepth membatasinya.
- Hanya untuk pembelahan sejajar sumbu: Batas diagonal membutuhkan banyak potongan berbentuk tangga.
Solusi untuk dua kelemahan pertama adalah dengan merata-ratakan banyak pohon, yang merupakan apa yang dilakukan oleh hutan acak tidak.
Cara Melatih dan Memvisualisasikan Pohon Keputusan di R
Untuk membangun pohon keputusan pertama Anda di R, Anda akan melalui tujuh langkah:
- Langkah 1: Impor data
- Langkah 2: Bersihkan kumpulan data
- Langkah 3: Buat set pelatihan/pengujian
- Langkah 4: Bangun modelnya
- Langkah 5: Buat prediksi
- Langkah 6: Ukur kinerja
- Langkah 7: Sesuaikan hyper-parameter
Langkah 1) Impor data
Jika kalian penasaran dengan nasib kapal Titanic, kalian bisa simak video ini di Youtube. Tujuan dari kumpulan data ini adalah untuk memprediksi orang mana yang lebih mungkin bertahan hidup setelah tabrakan dengan gunung es. Dataset berisi 13 variabel dan 1309 observasi. Dataset diurutkan berdasarkan variabel X.
set.seed(678) path <- 'https://raw.githubusercontent.com/guru99-edu/R-Programming/master/titanic_data.csv' titanic <-read.csv(path) head(titanic)
Keluaran:
## X pclass survived name sex ## 1 1 1 1 Allen, Miss. Elisabeth Walton female ## 2 2 1 1 Allison, Master. Hudson Trevor male ## 3 3 1 0 Allison, Miss. Helen Loraine female ## 4 4 1 0 Allison, Mr. Hudson Joshua Creighton male ## 5 5 1 0 Allison, Mrs. Hudson J C (Bessie Waldo Daniels) female ## 6 6 1 1 Anderson, Mr. Harry male ## age sibsp parch ticket fare cabin embarked ## 1 29.0000 0 0 24160 211.3375 B5 S ## 2 0.9167 1 2 113781 151.5500 C22 C26 S ## 3 2.0000 1 2 113781 151.5500 C22 C26 S ## 4 30.0000 1 2 113781 151.5500 C22 C26 S ## 5 25.0000 1 2 113781 151.5500 C22 C26 S ## 6 48.0000 0 0 19952 26.5500 E12 S ## home.dest ## 1 St Louis, MO ## 2 Montreal, PQ / Chesterville, ON ## 3 Montreal, PQ / Chesterville, ON ## 4 Montreal, PQ / Chesterville, ON ## 5 Montreal, PQ / Chesterville, ON ## 6 New York, NY
tail(titanic)
Keluaran:
## X pclass survived name sex age sibsp ## 1304 1304 3 0 Yousseff, Mr. Gerious male NA 0 ## 1305 1305 3 0 Zabour, Miss. Hileni female 14.5 1 ## 1306 1306 3 0 Zabour, Miss. Thamine female NA 1 ## 1307 1307 3 0 Zakarian, Mr. Mapriededer male 26.5 0 ## 1308 1308 3 0 Zakarian, Mr. Ortin male 27.0 0 ## 1309 1309 3 0 Zimmerman, Mr. Leo male 29.0 0 ## parch ticket fare cabin embarked home.dest ## 1304 0 2627 14.4583 C ## 1305 0 2665 14.4542 C ## 1306 0 2665 14.4542 C ## 1307 0 2656 7.2250 C ## 1308 0 2670 7.2250 C ## 1309 0 315082 7.8750 S
Dari keluaran head dan tail, Anda dapat melihat data tidak diacak. Ini adalah masalah besar! Saat Anda membagi data antara set kereta dan set pengujian, Anda akan memilih hanya penumpang dari kelas 1 dan 2 (Tidak ada penumpang dari kelas 3 yang berada di 80 persen pengamatan teratas), yang berarti algoritme tidak akan pernah melihat fitur penumpang kelas 3. Kesalahan ini akan menyebabkan prediksi yang buruk.
Untuk mengatasi masalah ini, Anda dapat menggunakan fungsi sample().
shuffle_index <- sample(1:nrow(titanic)) head(shuffle_index)
Penjelasan kode R pohon keputusan
- sample(1:nrow(titanic)): Menghasilkan daftar indeks acak dari 1 hingga 1309 (yaitu jumlah baris maksimum).
Keluaran:
## [1] 288 874 1078 633 887 992
Anda akan menggunakan indeks ini untuk mengacak kumpulan data raksasa.
titanic <- titanic[shuffle_index, ]
head(titanic)
Keluaran:
## X pclass survived ## 288 288 1 0 ## 874 874 3 0 ## 1078 1078 3 1 ## 633 633 3 0 ## 887 887 3 1 ## 992 992 3 1 ## name sex age ## 288 Sutton, Mr. Frederick male 61 ## 874 Humblen, Mr. Adolf Mathias Nicolai Olsen male 42 ## 1078 O'Driscoll, Miss. Bridget female NA ## 633 Andersson, Mrs. Anders Johan (Alfrida Konstantia Brogren) female 39 ## 887 Jermyn, Miss. Annie female NA ## 992 Mamee, Mr. Hanna male NA ## sibsp parch ticket fare cabin embarked home.dest## 288 0 0 36963 32.3208 D50 S Haddenfield, NJ ## 874 0 0 348121 7.6500 F G63 S ## 1078 0 0 14311 7.7500 Q ## 633 1 5 347082 31.2750 S Sweden Winnipeg, MN ## 887 0 0 14313 7.7500 Q ## 992 0 0 2677 7.2292 C
Langkah 2) Bersihkan kumpulan data
Beberapa variabel berisi nilai NA. Proses pembersihan berjalan dalam tiga bagian:
- Hapus variabel home.dest, cabin, name, X dan ticket.
- Buat variabel faktor untuk pclass dan selamat
- Jatuhkan NA
library(dplyr) # Drop variables clean_titanic <- titanic %>% select(-c(home.dest, cabin, name, X, ticket)) %>% #Convert to factor level mutate(pclass = factor(pclass, levels = c(1, 2, 3), labels = c('Upper', 'Middle', 'Lower')), survived = factor(survived, levels = c(0, 1), labels = c('No', 'Yes'))) %>% na.omit() glimpse(clean_titanic)
Code Penjelasan
- select(-c(home.dest, cabin, name, X, ticket)): Hilangkan variabel yang tidak perlu
- pclass = factor(pclass, levels = c(1,2,3), labels= c('Upper', 'Middle', 'Lower')): Tambahkan label ke variabel pclass. 1 menjadi Upper, 2 menjadi Middle dan 3 menjadi Lower
- faktor(bertahan hidup, level = c(0,1), label = c('Tidak', 'Ya')): Tambahkan label ke variabel bertahan hidup. 0 menjadi Tidak dan 1 menjadi Ya
- na.omit(): Hapus observasi NA
Keluaran:
## Observations: 1,045 ## Variables: 8 ## $ pclass <fctr> Upper, Lower, Lower, Upper, Middle, Upper, Middle, U... ## $ survived <fctr> No, No, No, Yes, No, Yes, Yes, No, No, No, No, No, Y... ## $ sex <fctr> male, male, female, female, male, male, female, male... ## $ age <dbl> 61.0, 42.0, 39.0, 49.0, 29.0, 37.0, 20.0, 54.0, 2.0, ... ## $ sibsp <int> 0, 0, 1, 0, 0, 1, 0, 0, 4, 0, 0, 1, 1, 0, 0, 0, 1, 1,... ## $ parch <int> 0, 0, 5, 0, 0, 1, 0, 1, 1, 0, 0, 1, 1, 0, 2, 0, 4, 0,... ## $ fare <dbl> 32.3208, 7.6500, 31.2750, 25.9292, 10.5000, 52.5542, ... ## $ embarked <fctr> S, S, S, S, S, S, S, S, S, C, S, S, S, Q, C, S, S, C...
Langkah 3) Buat set pelatihan/pengujian
Sebelum melatih model, Anda perlu melakukan dua langkah:
- Membuat rangkaian pelatihan dan pengujian: Anda melatih model pada rangkaian pelatihan dan menguji prediksi pada rangkaian pengujian (yaitu data yang tidak terlihat)
- Instal rpart.plot dari konsol
Praktik yang umum dilakukan adalah membagi data 80/20, 80 persen data berfungsi untuk melatih model, dan 20 persen untuk membuat prediksi. Anda perlu membuat dua bingkai data terpisah. Anda tidak ingin menyentuh set pengujian sampai Anda selesai membuat model. Anda dapat membuat nama fungsi create_train_test() yang membutuhkan tiga argumen.
create_train_test(df, size = 0.8, train = TRUE) arguments: -df: Dataset used to train the model. -size: Size of the split. By default, 0.8. Numerical value -train: If set to `TRUE`, the function creates the train set, otherwise the test set. Default value sets to `TRUE`. Boolean value.You need to add a Boolean parameter because R does not allow to return two data frames simultaneously.
create_train_test <- function(data, size = 0.8, train = TRUE) { n_row = nrow(data) total_row = size * n_row train_sample <- 1: total_row if (train == TRUE) { return (data[train_sample, ]) } else { return (data[-train_sample, ]) } }
Code Penjelasan
- function(data, size=0.8, train = TRUE): Tambahkan argumen dalam fungsi
- n_row = nrow(data): Menghitung jumlah baris dalam kumpulan data
- total_row = size*n_row: Mengembalikan baris ke-n untuk membuat rangkaian kereta
- train_sample <- 1:total_row: Pilih baris pertama hingga baris ke-n
- if (train ==TRUE){ } else { }: Jika kondisi disetel ke true, kembalikan set kereta, jika tidak, set pengujian.
Anda dapat menguji fungsi Anda dan memeriksa dimensinya.
data_train <- create_train_test(clean_titanic, 0.8, train = TRUE) data_test <- create_train_test(clean_titanic, 0.8, train = FALSE) dim(data_train)
Keluaran:
## [1] 836 8
dim(data_test)
Keluaran:
## [1] 209 8
Dataset pelatihan memiliki 836 baris dan 8 kolom, sedangkan dataset pengujian memiliki 209 baris dan 8 kolom yang sama.
Anda menggunakan fungsi prop.table() yang dikombinasikan dengan table() untuk memverifikasi apakah proses pengacakan sudah benar.
prop.table(table(data_train$survived))
Keluaran:
## ## No Yes ## 0.5944976 0.4055024
prop.table(table(data_test$survived))
Keluaran:
## ## No Yes ## 0.5789474 0.4210526
Pada kedua dataset, jumlah penyintas sama, yakni sekitar 40 persen.
Instal rpart.plot
rpart.plot tidak tersedia dari perpustakaan conda. Anda dapat menginstalnya dari konsol:
install.packages("rpart.plot")
Langkah 4) Bangun modelnya
Anda siap membangun model. Sintaks untuk fungsi pohon keputusan rpart() adalah:
rpart(formula, data=, method='') arguments: - formula: The function to predict - data: Specifies the data frame - method: - "class" for a classification tree - "anova" for a regression tree
Anda menggunakan metode kelas karena Anda memprediksi suatu kelas.
library(rpart) library(rpart.plot) fit <- rpart(survived~., data = data_train, method = 'class') rpart.plot(fit, extra = 106)
Code Penjelasan
- rpart(): Berfungsi agar sesuai dengan model. Argumennya adalah:
- selamat ~.: Rumus Pohon Keputusan
- data = data_train: Kumpulan data
- metode = 'kelas': Cocok dengan model biner
- rpart.plot(fit, extra= 106): Menggambar pohon. Argumen extra diatur ke 106, yang menampilkan probabilitas kelas kedua ditambah persentase pengamatan di setiap node. Anda dapat merujuk ke skema untuk informasi lebih lanjut tentang pilihan lainnya.
Keluaran:
Anda mulai dari simpul akar, di bagian atas grafik dan pada kedalaman 0 dari 3:
- Di bagian atas, ini adalah kemungkinan kelangsungan hidup secara keseluruhan. Ini menunjukkan proporsi penumpang yang selamat dari kecelakaan itu. 41 persen penumpang selamat.
- Node ini menanyakan apakah jenis kelamin penumpang adalah laki-laki. Jika ya, maka Anda turun ke anak kiri dari akar (kedalaman 1). 63 persen adalah laki-laki dengan probabilitas bertahan hidup sebesar 21 persen.
- Pada node kedua, Anda menanyakan apakah penumpang laki-laki berusia di atas 3.5 tahun. Jika ya, maka peluang bertahan hidup adalah 19 persen.
- Anda terus melakukannya untuk memahami fitur apa yang memengaruhi kemungkinan kelangsungan hidup.
Perlu diperhatikan bahwa salah satu dari banyak kualitas Pohon Keputusan adalah hanya memerlukan sedikit persiapan data. Secara khusus, mereka tidak memerlukan penskalaan atau pemusatan fitur.
Secara default, fungsi rpart() menggunakan Gini Ukuran ketidakmurnian digunakan untuk memilih setiap pemisahan. Semakin tinggi nilai Gini, semakin tercampur kelas-kelas di dalam node tersebut, sehingga algoritma selalu memilih pemisahan yang menurunkan nilai Gini paling banyak.
Langkah 5) Buat prediksi
Anda dapat memprediksi kumpulan data pengujian Anda. Untuk membuat prediksi, Anda dapat menggunakan fungsi prediksi(). Sintaks dasar prediksi untuk pohon keputusan R adalah:
predict(fitted_model, df, type = 'class') arguments: - fitted_model: This is the object stored after model estimation. - df: Data frame used to make the prediction - type: Type of prediction - 'class': for classification - 'prob': to compute the probability of each class - 'vector': Predict the mean response at the node level
Sekarang Anda memprediksi, untuk setiap 209 penumpang dalam set data uji, apakah model tersebut memperkirakan mereka akan selamat dari tabrakan.
predict_unseen <-predict(fit, data_test, type = 'class')
Code Penjelasan
- prediksi(fit, data_test, type = 'class'): Memprediksi kelas (0/1) dari set pengujian
Sekarang bandingkan kelas yang diprediksi dengan hasil sebenarnya.
table_mat <- table(data_test$survived, predict_unseen)
table_mat
Code Penjelasan
- table(data_test$survived, predict_unseen): Membangun tabel kontingensi kelas yang diprediksi terhadap hasil sebenarnya
Keluaran:
## predict_unseen ## No Yes ## No 106 15 ## Yes 30 58
Baris adalah nilai aktual, kolom adalah prediksi. Model tersebut dengan benar mengidentifikasi 106 orang yang tidak selamat dan 58 orang yang selamat, tetapi melabeli 15 orang yang tidak selamat sebagai orang yang selamat dan 30 orang yang selamat sebagai orang yang telah meninggal.
Langkah 6) Ukur kinerja
Anda dapat menghitung ukuran akurasi untuk tugas klasifikasi dengan matriks kebingungan:
The matriks kebingungan adalah pilihan yang lebih baik untuk mengevaluasi kinerja klasifikasi. Ide umumnya adalah menghitung berapa kali instance True diklasifikasikan menjadi False.
Setiap baris dalam matriks kebingungan mewakili target sebenarnya, sedangkan setiap kolom mewakili target yang diprediksi. Baris pertama matriks ini mempertimbangkan penumpang yang meninggal (kelas negatif): 106 diklasifikasikan dengan benar sebagai meninggal (Benar-benar negatif), sementara 15 orang salah diklasifikasikan sebagai penyintas (Salah positif). Baris kedua mempertimbangkan para penyintas: 58 orang diidentifikasi dengan benar (Benar-benar positif), sedangkan 30 tidak terdeteksi (Salah negatif).
Anda dapat menghitungnya tes akurasi dari matriks kebingungan:
Ini adalah proporsi positif sejati dan negatif sejati terhadap jumlah matriks. Dengan R, Anda dapat membuat kode sebagai berikut:
accuracy_Test <- sum(diag(table_mat)) / sum(table_mat)
Code Penjelasan
- sum(diag(table_mat)): Jumlah diagonalnya
- sum(table_mat): Jumlah matriks.
Anda dapat mencetak keakuratan set pengujian:
print(paste('Accuracy for test', accuracy_Test))
Keluaran:
## [1] "Accuracy for test 0.784688995215311"
Akurasi pada set pengujian adalah 0.7847, yaitu 78.47 persen. Ulangi latihan ini pada set pelatihan untuk melihat seberapa besar model tersebut mengalami overfitting.
Langkah 7) Sesuaikan hyper-parameter
Pohon keputusan di R memiliki berbagai parameter yang mengendalikan aspek-aspek kecocokan. Di pustaka pohon keputusan rpart, Anda dapat mengendalikan parameter menggunakan fungsi rpart.control(). Dalam kode berikut, Anda memperkenalkan parameter yang akan Anda sesuaikan. Anda dapat merujuk ke skema untuk parameter lainnya.
rpart.control(minsplit = 20, minbucket = round(minsplit/3), maxdepth = 30) Arguments: -minsplit: Set the minimum number of observations in the node before the algorithm perform a split -minbucket: Set the minimum number of observations in a terminal node, i.e. the leaf -maxdepth: Set the maximum depth of any node of the final tree. The root node is treated as depth 0
Kami akan melanjutkan sebagai berikut:
- Bangun fungsi untuk mengembalikan akurasi
- Sesuaikan kedalaman maksimum
- Sesuaikan jumlah minimum sampel yang harus dimiliki sebuah node sebelum dapat dipecah
- Sesuaikan jumlah minimum sampel yang harus dimiliki simpul daun
Anda dapat menulis fungsi untuk menampilkan keakuratannya. Anda cukup membungkus kode yang Anda gunakan sebelumnya:
- prediksi: prediksi_tak terlihat <- prediksi(cocok, uji_data, ketik = 'kelas')
- Menghasilkan tabel: table_mat <- tabel(data_test$selamat, prediksi_tidak terlihat)
- Akurasi komputasi: akurasi_Test <- sum(diag(table_mat))/sum(table_mat)
accuracy_tune <- function(fit) { predict_unseen <- predict(fit, data_test, type = 'class') table_mat <- table(data_test$survived, predict_unseen) accuracy_Test <- sum(diag(table_mat)) / sum(table_mat) accuracy_Test }
Sekarang, sesuaikan parameter dan lihat apakah Anda dapat meningkatkan model default. Sebagai pengingat, Anda perlu melampaui akurasi 0.7847.
control <- rpart.control(minsplit = 4,
minbucket = round(5 / 3),
maxdepth = 3,
cp = 0)
tune_fit <- rpart(survived~., data = data_train, method = 'class', control = control)
accuracy_tune(tune_fit)
Keluaran:
## [1] 0.7990431
Dengan parameter berikut:
minsplit = 4
minbucket = round(5/3)
maxdepth = 3
cp = 0
Akurasi meningkat dari 0.7847 menjadi 0.7990, sehingga pohon yang telah disetel mengungguli konfigurasi default sekitar 1.4 poin persentase.
Pohon Keputusan di R: Referensi Fungsi Singkat
Tabel di bawah ini mencantumkan setiap fungsi yang digunakan dalam tujuh langkah di atas, beserta paket yang menyediakannya dan parameter yang diharapkan. R.
| Perpustakaan | Tujuan | fungsi | Kelas | Parameter Teknis | Detail |
|---|---|---|---|---|---|
| bagian | Latih pohon klasifikasi di R | bagian() | kelas | rumus, df, metode | |
| bagian | Latih pohon regresi | bagian() | anova | rumus, df, metode | |
| bagian | Plot pepohonan | rpart.plot() | model terpasang | ||
| mendasarkan | meramalkan | meramalkan() | kelas | model pas, tipe | |
| mendasarkan | meramalkan | meramalkan() | masalah | model pas, tipe | |
| mendasarkan | meramalkan | meramalkan() | vektor | model pas, tipe | |
| bagian | Parameter kontrol | rpart.kontrol() | pembagian minimal | Tetapkan jumlah minimum observasi dalam node sebelum algoritma melakukan pemisahan | |
| ember kecil | Tetapkan jumlah minimum pengamatan pada node terminal, yaitu daun. | ||||
| kedalaman maksimum | Tetapkan kedalaman maksimum dari setiap node pada pohon akhir. Node akar diperlakukan sebagai kedalaman 0. | ||||
| bagian | Latih model dengan parameter kontrol | bagian() | rumus, df, metode, kontrol |
Catatan : Latih model pada data pelatihan dan uji performa pada kumpulan data yang tidak terlihat, yaitu kumpulan pengujian.



