R을 이용한 랜덤 포레스트 튜토리얼: 알고리즘 및 예제
⚡ 스마트 요약
R의 랜덤 포레스트는 부트스트랩된 샘플을 기반으로 수백 개의 의사결정 트리를 구축하고, 각 트리의 투표 결과를 평균하여 하나의 강력한 예측값을 생성합니다. 이 가이드에서는 caret 명령어를 사용하여 mtry, maxnodes, ntree 값을 최적화하고, 타이타닉 생존 데이터에 대한 최종 모델의 성능을 평가합니다.

R의 랜덤 포레스트(Random Forest)란 무엇입니까?
랜덤 포레스트는 '군중의 지혜'라는 단순한 아이디어를 기반으로 합니다. 여러 예측 변수의 결과를 집계하면 최상의 개별 예측 변수보다 더 나은 예측이 제공됩니다. 예측변수 그룹을 앙상블. 그래서 이 기술을 이렇게 부른다. 앙상블 학습.
이전 튜토리얼에서 여러분은 사용 방법을 배웠습니다. 결정 트리 이진 예측을 하려고 합니다. 우리의 기술을 향상시키기 위해 우리는 한 그룹의 사람들을 훈련시킬 수 있습니다. 의사결정 트리 분류자각각 훈련 데이터셋의 서로 다른 무작위 부분집합을 사용하여 모델을 생성합니다. 예측을 하려면 모든 개별 트리의 예측 결과를 수집하고 가장 많은 표를 받은 클래스를 반환합니다. 이 기법을 모델 트리라고 합니다. 랜덤 포레스트.
코드를 작성하기 전에, 개별 나무들이 모여 숲을 이루는 구조를 정확히 파악하는 것이 도움이 됩니다.
R에서 랜덤 포레스트는 어떻게 작동하나요?
작동 원리를 이해하면 모든 튜닝 매개변수를 더 쉽게 이해할 수 있습니다. 랜덤 포레스트는 네 단계에 걸쳐 구축됩니다.
- Bootstrap 견본 추출. 이 알고리즘은 행의 무작위 샘플을 추출합니다. 교체로 각 트리에 대해 훈련 세트에서 추출한 데이터입니다. 각 샘플에서 대략 3분의 1에 해당하는 행이 제외되는데, 이를 OOB(Out-of-Bag) 관측치라고 합니다.
- 무작위 특징점 선택. 분할할 때마다 예측 변수의 무작위 부분집합만 고려됩니다. 이 부분집합의 크기가 바로 입니다. 미터 매개변수입니다. 선택의 폭을 제한하는 것이 모든 나무가 똑같아 보이는 것을 막는 역할을 합니다.
- 가지치기를 하지 않은 나무의 성장. 각 나무는 자라다가 멈추는 지점에 도달합니다.ping 규칙과 같은 것 최대 노드 or 노드 크기개별 계통수들은 의도적으로 과적합되도록 허용되는데, 이는 계통수들의 오류가 서로 상관관계가 없기 때문입니다.
- 집합. 분류의 경우 트리는 가장 많은 표를 얻은 클래스를 반환하고, 회귀의 경우 예측값의 평균을 반환합니다. 이 평균화 단계를 '분류'라는 용어로 부릅니다. 포장 (부트스트랩 집계)에 대해 설명합니다.
행 샘플링과 열 샘플링을 결합하는 것이 핵심입니다. 하나의 깊은 트리는 편향은 낮지만 분산이 매우 높습니다. 수백 개의 트리를 평균화하면 낮은 편향은 유지하면서 분산을 낮출 수 있습니다.
가방 내용물이 새어나왔습니다. 약 3분의 1의 트리에서 모든 관측치가 제외되기 때문에 R은 해당 관측치를 보지 못한 트리만을 사용하여 각 행의 점수를 계산할 수 있습니다. 결과적으로 발생하는 OOB 오류는 randomForest() 함수에서 출력되는 무료 내장 검증 추정치입니다.
rf_oob <- randomForest(survived~., data = data_train, ntree = 800, mtry = 4) print(rf_oob) # reports the OOB estimate of error rate
OOB 오류는 편리하고 빠른 확인 방법이지만, 이 튜토리얼에서는 caret을 통해 10겹 교차 검증을 사용하므로 모든 튜닝 그리드가 동일한 폴드에서 비교됩니다.
R에서 랜덤 포레스트와 의사결정 트리 비교
랜덤 포레스트는 동일한 모델들의 앙상블입니다. 결정 트리 이전 튜토리얼에서 다뤘으므로 둘 중 하나를 선택하기 전에 차이점을 명확히 설명하는 것이 좋습니다.
| 기준 | 의사 결정 트리 | 랜덤 포레스트 |
|---|---|---|
| Structure | 한 그루의 나무 | 투표를 통해 수백 그루의 나무가 모였습니다. |
| 변화 | 높음, 훈련 샘플에 매우 민감함 | 낮은 값, 평균화로 개별 오류가 상쇄됨 |
| 과적합 위험 | 가지치기를 하지 않으면 키가 큽니다. | 가지치기를 하지 않은 나무에서도 낮게 유지됩니다. |
| 통역 성 | 순서도 형태로 완벽하게 읽을 수 있습니다. | 변수 중요도만 읽을 수 있습니다. |
| 교육 비용 | 매우 빠른 | 나무에 비례함 |
| 기본 제공 유효성 검사 | 없음 | 가방 외부 오류 추정 |
| R 함수 | 르파트() | 랜덤포레스트() |
비전문가에게 의사결정 경로를 설명해야 할 때는 단일 트리를 선택하세요. 가독성 좋은 다이어그램보다 예측 정확도가 더 중요할 때는 포레스트를 선택하세요.
랜덤 포레스트의 장점과 단점
알고리즘의 강점과 약점을 파악하면 향후 튜닝 작업에 투자할 가치가 있는 시점을 알 수 있습니다.
장점
- 가지치기 없이 정확도 확보: 서로 상관관계가 없는 여러 트리를 평균화하면 수동 조정을 거의 하지 않고도 강력한 결과를 얻을 수 있습니다.
- 과적합에 대한 저항력: 트리를 추가해도 일반화 오류는 절대 증가하지 않으므로 ntree를 안전하게 높일 수 있습니다.
- 혼합 데이터를 처리합니다. 수치형 예측 변수와 요인형 예측 변수는 함께 작동하며, 스케일링은 필요하지 않습니다.
- 무료 검증 및 순위 매기기: OOB 오류와 varImp()는 추가적인 계산 비용을 발생시키지 않습니다.
단점
- 불투명한 예측: 당신은 할 수 없습니다 trac규제 환경에서 중요한 단일 의사 결정 경로입니다.
- 넓은 숲에서는 천천히 이동하세요: 학습 및 예측 시간은 트리의 개수에 비례하여 선형적으로 증가합니다.
- 편향된 중요도 점수: 여러 범주형 변수는 실제보다 더 중요해 보일 수 있습니다.
- 약한 외삽법: 회귀 분석의 경우, 포레스트는 훈련에서 관찰된 범위를 벗어난 예측은 절대 할 수 없습니다.
이론과 장단점이 정리되었으므로, 다음 6단계에서는 타이타닉 생존 데이터 세트를 사용하여 랜덤 포레스트를 처음부터 끝까지 구축, 조정 및 평가합니다.
1단계) 데이터 가져오기
튜토리얼에서와 동일한 데이터 세트가 있는지 확인하려면 결정 트리훈련 데이터셋과 테스트 데이터셋은 온라인에 호스팅되어 있습니다. 아무런 변경 없이 가져올 수 있습니다.
library(dplyr) data_train <- read.csv("https://raw.githubusercontent.com/guru99-edu/R-Programming/master/train.csv") glimpse(data_train) data_test <- read.csv("https://raw.githubusercontent.com/guru99-edu/R-Programming/master/test.csv") glimpse(data_test)
2단계) 모델 학습
모델의 성능을 평가하는 한 가지 방법은 여러 개의 서로 다른 소규모 데이터셋으로 모델을 학습시키고, 나머지 소규모 테스트 데이터셋을 사용하여 성능을 평가하는 것입니다. 이를 '테스트 모델'이라고 합니다. k 배 교차 검증. R 이 함수는 데이터를 거의 동일한 크기의 k개 부분집합으로 무작위로 분할합니다. 예를 들어, k=10인 경우 모델은 9개의 폴드에서 학습되고 나머지 1개의 폴드에서 평가됩니다. 이 과정은 모든 부분집합에 대한 평가가 완료될 때까지 반복됩니다. 이 기법은 특히 조정해야 할 매개변수가 많은 모델에서 모델 선택에 널리 사용됩니다.
이제 모델을 평가할 방법을 확보했으므로, 어떤 매개변수가 미지의 데이터에 대해 가장 잘 일반화되는지 결정해야 합니다.
랜덤 포레스트는 기능의 무작위 하위 집합을 선택하고 많은 의사결정 트리를 구축합니다. 모델은 의사결정 트리의 모든 예측을 평균화합니다.
랜덤 포레스트는 예측의 일반화 성능을 향상시키기 위해 변경할 수 있는 몇 가지 매개변수를 가지고 있습니다. 여러분은 randomForest() 함수를 사용하여 모델을 학습시킬 것입니다.
randomForest() 함수의 구문은 다음과 같습니다.
randomForest(formula, ntree=n, mtry=FALSE, maxnodes = NULL) Arguments: - Formula: Formula of the fitted model - ntree: number of trees in the forest - mtry: Number of candidate variables drawn at each split. By default, it is the square root of the number of predictors for classification. - maxnodes: Set the maximum number of terminal nodes each tree can have - importance=TRUE: Whether independent variables importance in the random forest be assessed
주의 사항: 랜덤 포레스트는 더 많은 매개변수에 대해 훈련될 수 있습니다. 당신은 소품 다양한 매개변수를 확인하세요.
모델 튜닝은 지루한 작업입니다. 매개변수의 조합은 무수히 많기 때문입니다. 모든 조합을 일일이 시도해 볼 시간은 없을 수도 있습니다. 좋은 대안은 기계가 최적의 조합을 찾아주도록 하는 것입니다. 여기에는 두 가지 방법이 있습니다.
- 무작위 검색
- 그리드 검색
두 가지 방법 모두 아래에 설명되어 있지만, 이 튜토리얼에서는 그리드 검색을 사용하여 모델을 학습합니다.
그리드 검색 정의
그리드 검색 방법은 간단합니다. 모델은 교차 검증을 사용하여 함수에 전달한 모든 조합에 대해 평가됩니다.
예를 들어, 10, 20, 30개의 나무로 모델을 시도하고 각 나무는 1, 2, 3, 4, 5와 동일한 mtry 수에 대해 테스트됩니다. 그런 다음 기계는 15개의 다른 모델을 테스트합니다.
.mtry ntrees 1 1 10 2 2 10 3 3 10 4 4 10 5 5 10 6 1 20 7 2 20 8 3 20 9 4 20 10 5 20 11 1 30 12 2 30 13 3 30 14 4 30 15 5 30
알고리즘은 다음을 평가합니다.
randomForest(formula, ntree=10, mtry=1) randomForest(formula, ntree=10, mtry=2) randomForest(formula, ntree=10, mtry=3) randomForest(formula, ntree=20, mtry=2) ...
각 조합은 교차 검증을 통해 평가됩니다. 그리드 탐색의 단점은 조합의 수가 많아질수록 실험 횟수가 기하급수적으로 증가한다는 점입니다. 이러한 문제를 해결하기 위해 무작위 탐색을 사용할 수 있습니다.
무작위 검색 정의
랜덤 탐색과 그리드 탐색의 가장 큰 차이점은 랜덤 탐색은 탐색 공간의 모든 하이퍼파라미터 조합을 평가하지 않는다는 것입니다. 대신, 매 반복마다 무작위로 조합을 선택합니다. 이러한 방식의 장점은 계산 비용이 훨씬 낮다는 것입니다.
제어 매개변수 설정
모델을 구성하고 평가하려면 다음과 같이 진행합니다.
- 기본 설정으로 모델 평가
- 최적의 mtry 횟수 찾기
- 최적의 최대 노드 수 찾기
- 최적의 ntree 수 찾기
- 테스트 데이터 세트에서 모델을 평가합니다.
매개변수 탐색을 시작하기 전에 두 개의 라이브러리를 설치해야 합니다.
- 캐럿: R 기계 학습 라이브러리. 당신이 가지고 있다면 설치 R r-essential과 함께. 이미 도서관에 있어요
- 아나콘다: conda install -cr r-caret
- e1071: R 기계 학습 라이브러리.
- 아나콘다: conda install -cr r-e1071
randomForest와 함께 가져올 수 있습니다.
library(randomForest) library(caret) library(e1071)
기본 설정
K-겹 교차 검증은 trainControl() 함수에 의해 제어됩니다.
trainControl(method = "cv", number = n, search ="grid") arguments - method = "cv": The method used to resample the dataset. - number = n: Number of folds to create - search = "grid": Use the grid search method. For the randomized method, use "random" Note: You can refer to the vignette to see the other arguments of the function.
기본 매개변수를 사용하여 모델을 실행하고 정확도 점수를 확인할 수 있습니다.
주의 사항: 튜토리얼 전체에서 동일한 컨트롤을 사용하게 됩니다.
# Define the control trControl <- trainControl(method = "cv", number = 10, search = "grid")
캐럿 라이브러리를 사용하여 모델을 평가합니다. 라이브러리에는 거의 모든 것을 평가하는 train()이라는 함수가 하나 있습니다. 기계 학습 알고리즘. 다르게 말하면, 이 함수를 사용하여 다른 알고리즘을 훈련할 수 있습니다.
기본 구문은 다음과 같습니다.
train(formula, df, method = "rf", metric= "Accuracy", trControl = trainControl(), tuneGrid = NULL) argument - `formula`: Define the formula of the algorithm - `method`: Define which model to train. Note, at the end of the tutorial, there is a list of all the models that can be trained - `metric` = "Accuracy": Define how to select the optimal model - `trControl = trainControl()`: Define the control parameters - `tuneGrid = NULL`: Return a data frame with all the possible combination
기본값을 사용하여 모델을 구축해 보겠습니다.
set.seed(1234) # Run the model rf_default <- train(survived~., data = data_train, method = "rf", metric = "Accuracy", trControl = trControl) # Print the results print(rf_default)
Code 설명
- trainControl(method=”cv”, number=10, search=”grid”): 10개의 폴드에 걸쳐 그리드 검색을 사용하여 모델을 평가합니다.
- train(…): 랜덤 포레스트 모델을 훈련합니다. 정확도 측정을 통해 가장 좋은 모델이 선택됩니다.
출력:
## Random Forest ## ## 836 samples ## 7 predictor ## 2 classes: 'No', 'Yes' ## ## No pre-processing ## Resampling: Cross-Validated (10 fold) ## Summary of sample sizes: 753, 752, 753, 752, 752, 752, ... ## Resampling results across tuning parameters: ## ## mtry Accuracy Kappa ## 2 0.7919248 0.5536486 ## 6 0.7811245 0.5391611 ## 10 0.7572002 0.4939620 ## ## Accuracy was used to select the optimal model using the largest value. ## The final value used for the model was mtry = 2.
이 알고리즘은 500개의 트리를 사용하고 mtry의 세 가지 다른 값인 2, 6, 10을 테스트했습니다.
모델에 사용된 최종 값은 mtry = 2였으며, 교차 검증 정확도는 0.792였습니다. 더 높은 점수를 얻어보도록 하겠습니다.
최고의 mtry를 검색하세요
1부터 10까지의 mtry 값으로 모델을 테스트할 수 있습니다.
set.seed(1234) tuneGrid <- expand.grid(.mtry = c(1: 10)) rf_mtry <- train(survived~., data = data_train, method = "rf", metric = "Accuracy", tuneGrid = tuneGrid, trControl = trControl, importance = TRUE, nodesize = 14, ntree = 300) print(rf_mtry)
Code 설명
- tuneGrid <- expand.grid(.mtry = c(1:10)): 1부터 10까지의 값을 가진 벡터를 생성합니다.
출력:
## Random Forest ## ## 836 samples ## 7 predictor ## 2 classes: 'No', 'Yes' ## ## No pre-processing ## Resampling: Cross-Validated (10 fold) ## Summary of sample sizes: 753, 752, 753, 752, 752, 752, ... ## Resampling results across tuning parameters: ## ## mtry Accuracy Kappa ## 1 0.7572576 0.4647368 ## 2 0.7979346 0.5662364 ## 3 0.8075158 0.5884815 ## 4 0.8110729 0.5970664 ## 5 0.8074727 0.5900030 ## 6 0.8099111 0.5949342 ## 7 0.8050918 0.5866415 ## 8 0.8050918 0.5855399 ## 9 0.8050631 0.5855035 ## 10 0.7978916 0.5707336 ## ## Accuracy was used to select the optimal model using the largest value. ## The final value used for the model was mtry = 4.
mtry의 최적값은 4입니다. 이 값은 다음 위치에 저장됩니다.
rf_mtry$bestTune$mtry
이를 저장했다가 다른 매개변수를 조정해야 할 때 사용할 수 있습니다.
max(rf_mtry$results$Accuracy)
출력:
## [1] 0.8110729
best_mtry <- rf_mtry$bestTune$mtry best_mtry
출력:
## [1] 4
3단계) 최고의 최대 노드 검색
maxnodes의 다른 값을 평가하려면 루프를 만들어야 합니다. 다음 코드에서 다음을 수행합니다.
- 목록 만들기
- mtry 매개변수의 가장 좋은 값을 사용하여 변수를 만듭니다. 의무적 인
- 루프 만들기
- maxnode의 현재 값을 저장합니다.
- 결과 요약
store_maxnode <- list() tuneGrid <- expand.grid(.mtry = best_mtry) for (maxnodes in c(5: 15)) { set.seed(1234) rf_maxnode <- train(survived~., data = data_train, method = "rf", metric = "Accuracy", tuneGrid = tuneGrid, trControl = trControl, importance = TRUE, nodesize = 14, maxnodes = maxnodes, ntree = 300) current_iteration <- toString(maxnodes) store_maxnode[[current_iteration]] <- rf_maxnode } results_mtry <- resamples(store_maxnode) summary(results_mtry)
Code 설명:
- store_maxnode <- list(): 모델의 결과가 이 목록에 저장됩니다.
- Expand.grid(.mtry=best_mtry): mtry의 최고 값을 사용합니다.
- (maxnodes in c(5:15)) { … }: maxnodes 값을 5에서 15까지 변화시키면서 모델을 계산합니다.
- maxnodes = maxnodes: 각 반복마다 maxnodes는 현재 루프 값(예: 5, 6, 7, …)과 같습니다.
- current_iteration <- toString(maxnodes): maxnodes 값을 문자열로 저장합니다.
- store_maxnode[[current_iteration]] <- rf_maxnode: 모델의 결과를 목록에 저장합니다.
- resamples(store_maxnode): 모델 결과 정렬
- summary(results_mtry): 모든 조합의 요약을 인쇄합니다.
출력:
## ## Call: ## summary.resamples(object = results_mtry) ## ## Models: 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15 ## Number of resamples: 10 ## ## Accuracy ## Min. 1st Qu. Median Mean 3rd Qu. Max. NA's ## 5 0.6785714 0.7529762 0.7903758 0.7799771 0.8168388 0.8433735 0 ## 6 0.6904762 0.7648810 0.7784710 0.7811962 0.8125000 0.8313253 0 ## 7 0.6904762 0.7619048 0.7738095 0.7788009 0.8102410 0.8333333 0 ## 8 0.6904762 0.7627295 0.7844234 0.7847820 0.8184524 0.8433735 0 ## 9 0.7261905 0.7747418 0.8083764 0.7955250 0.8258749 0.8333333 0 ## 10 0.6904762 0.7837780 0.7904475 0.7895869 0.8214286 0.8433735 0 ## 11 0.7023810 0.7791523 0.8024240 0.7943775 0.8184524 0.8433735 0 ## 12 0.7380952 0.7910929 0.8144005 0.8051205 0.8288511 0.8452381 0 ## 13 0.7142857 0.8005952 0.8192771 0.8075158 0.8403614 0.8452381 0 ## 14 0.7380952 0.7941050 0.8203528 0.8098967 0.8403614 0.8452381 0 ## 15 0.7142857 0.8000215 0.8203528 0.8075301 0.8378873 0.8554217 0 ## ## Kappa ## Min. 1st Qu. Median Mean 3rd Qu. Max. NA's ## 5 0.3297872 0.4640436 0.5459706 0.5270773 0.6068751 0.6717371 0 ## 6 0.3576471 0.4981484 0.5248805 0.5366310 0.6031287 0.6480921 0 ## 7 0.3576471 0.4927448 0.5192771 0.5297159 0.5996437 0.6508314 0 ## 8 0.3576471 0.4848320 0.5408159 0.5427127 0.6200253 0.6717371 0 ## 9 0.4236277 0.5074421 0.5859472 0.5601687 0.6228626 0.6480921 0 ## 10 0.3576471 0.5255698 0.5527057 0.5497490 0.6204819 0.6717371 0 ## 11 0.3794326 0.5235007 0.5783191 0.5600467 0.6126720 0.6717371 0 ## 12 0.4460432 0.5480930 0.5999072 0.5808134 0.6296780 0.6717371 0 ## 13 0.4014252 0.5725752 0.6087279 0.5875305 0.6576219 0.6678832 0 ## 14 0.4460432 0.5585005 0.6117973 0.5911995 0.6590982 0.6717371 0 ## 15 0.4014252 0.5689401 0.6117973 0.5867010 0.6507194 0.6955990 0
이 범위에서 가장 높은 평균 정확도(0.8099)는 테스트 구간의 최상단에 위치한 maxnodes = 14에서 나타납니다. 최적값이 그리드의 가장자리에 있으므로 검색 범위를 위쪽으로 확장해야 합니다.
store_maxnode <- list() tuneGrid <- expand.grid(.mtry = best_mtry) for (maxnodes in c(20: 30)) { set.seed(1234) rf_maxnode <- train(survived~., data = data_train, method = "rf", metric = "Accuracy", tuneGrid = tuneGrid, trControl = trControl, importance = TRUE, nodesize = 14, maxnodes = maxnodes, ntree = 300) key <- toString(maxnodes) store_maxnode[[key]] <- rf_maxnode } results_node <- resamples(store_maxnode) summary(results_node)
출력:
## ## Call: ## summary.resamples(object = results_node) ## ## Models: 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30 ## Number of resamples: 10 ## ## Accuracy ## Min. 1st Qu. Median Mean 3rd Qu. Max. NA's ## 20 0.7142857 0.7821644 0.8144005 0.8075301 0.8447719 0.8571429 0 ## 21 0.7142857 0.8000215 0.8144005 0.8075014 0.8403614 0.8571429 0 ## 22 0.7023810 0.7941050 0.8263769 0.8099254 0.8328313 0.8690476 0 ## 23 0.7023810 0.7941050 0.8263769 0.8111302 0.8447719 0.8571429 0 ## 24 0.7142857 0.7946429 0.8313253 0.8135112 0.8417599 0.8690476 0 ## 25 0.7142857 0.7916667 0.8313253 0.8099398 0.8408635 0.8690476 0 ## 26 0.7142857 0.7941050 0.8203528 0.8123207 0.8528758 0.8571429 0 ## 27 0.7023810 0.8060456 0.8313253 0.8135112 0.8333333 0.8690476 0 ## 28 0.7261905 0.7941050 0.8203528 0.8111015 0.8328313 0.8690476 0 ## 29 0.7142857 0.7910929 0.8313253 0.8087063 0.8333333 0.8571429 0 ## 30 0.6785714 0.7910929 0.8263769 0.8063253 0.8403614 0.8690476 0 ## ## Kappa ## Min. 1st Qu. Median Mean 3rd Qu. Max. NA's ## 20 0.3956835 0.5316120 0.5961830 0.5854366 0.6661120 0.6955990 0 ## 21 0.3956835 0.5699332 0.5960343 0.5853247 0.6590982 0.6919315 0 ## 22 0.3735084 0.5560661 0.6221836 0.5914492 0.6422128 0.7189781 0 ## 23 0.3735084 0.5594228 0.6228827 0.5939786 0.6657372 0.6955990 0 ## 24 0.3956835 0.5600352 0.6337821 0.5992188 0.6604703 0.7189781 0 ## 25 0.3956835 0.5530760 0.6354875 0.5912239 0.6554912 0.7189781 0 ## 26 0.3956835 0.5589331 0.6136074 0.5969142 0.6822128 0.6955990 0 ## 27 0.3735084 0.5852459 0.6368425 0.5998148 0.6426088 0.7189781 0 ## 28 0.4290780 0.5589331 0.6154905 0.5946859 0.6356141 0.7189781 0 ## 29 0.4070588 0.5534173 0.6337821 0.5901173 0.6423101 0.6919315 0 ## 30 0.3297872 0.5534173 0.6202632 0.5843432 0.6590982 0.7189781 0
평균 정확도가 가장 높은 값인 0.8135는 maxnodes = 24일 때 얻어집니다(maxnodes = 27일 때는 평균값은 같지만 3사분위수가 더 낮습니다). 따라서 나머지 단계에서는 maxnodes = 24를 사용합니다.
4단계) 최고의 ntree 검색
이제 mtry 및 maxnode의 최고 값을 얻었으므로 트리 수를 조정할 수 있습니다. 방법은 maxnode와 완전히 동일합니다.
store_maxtrees <- list() for (ntree in c(250, 300, 350, 400, 450, 500, 550, 600, 800, 1000, 2000)) { set.seed(5678) rf_maxtrees <- train(survived~., data = data_train, method = "rf", metric = "Accuracy", tuneGrid = tuneGrid, trControl = trControl, importance = TRUE, nodesize = 14, maxnodes = 24, ntree = ntree) key <- toString(ntree) store_maxtrees[[key]] <- rf_maxtrees } results_tree <- resamples(store_maxtrees) summary(results_tree)
출력:
## ## Call: ## summary.resamples(object = results_tree) ## ## Models: 250, 300, 350, 400, 450, 500, 550, 600, 800, 1000, 2000 ## Number of resamples: 10 ## ## Accuracy ## Min. 1st Qu. Median Mean 3rd Qu. Max. NA's ## 250 0.7380952 0.7976190 0.8083764 0.8087010 0.8292683 0.8674699 0 ## 300 0.7500000 0.7886905 0.8024240 0.8027199 0.8203397 0.8452381 0 ## 350 0.7500000 0.7886905 0.8024240 0.8027056 0.8277623 0.8452381 0 ## 400 0.7500000 0.7886905 0.8083764 0.8051009 0.8292683 0.8452381 0 ## 450 0.7500000 0.7886905 0.8024240 0.8039104 0.8292683 0.8452381 0 ## 500 0.7619048 0.7886905 0.8024240 0.8062914 0.8292683 0.8571429 0 ## 550 0.7619048 0.7886905 0.8083764 0.8099062 0.8323171 0.8571429 0 ## 600 0.7619048 0.7886905 0.8083764 0.8099205 0.8323171 0.8674699 0 ## 800 0.7619048 0.7976190 0.8083764 0.8110820 0.8292683 0.8674699 0 ## 1000 0.7619048 0.7976190 0.8121510 0.8086723 0.8303571 0.8452381 0 ## 2000 0.7619048 0.7886905 0.8121510 0.8086723 0.8333333 0.8452381 0 ## ## Kappa ## Min. 1st Qu. Median Mean 3rd Qu. Max. NA's ## 250 0.4061697 0.5667400 0.5836013 0.5856103 0.6335363 0.7196807 0 ## 300 0.4302326 0.5449376 0.5780349 0.5723307 0.6130767 0.6710843 0 ## 350 0.4302326 0.5449376 0.5780349 0.5723185 0.6291592 0.6710843 0 ## 400 0.4302326 0.5482030 0.5836013 0.5774782 0.6335363 0.6710843 0 ## 450 0.4302326 0.5449376 0.5780349 0.5750587 0.6335363 0.6710843 0 ## 500 0.4601542 0.5449376 0.5780349 0.5804340 0.6335363 0.6949153 0 ## 550 0.4601542 0.5482030 0.5857118 0.5884507 0.6396872 0.6949153 0 ## 600 0.4601542 0.5482030 0.5857118 0.5884374 0.6396872 0.7196807 0 ## 800 0.4601542 0.5667400 0.5836013 0.5910088 0.6335363 0.7196807 0 ## 1000 0.4601542 0.5667400 0.5961590 0.5857446 0.6343666 0.6678832 0 ## 2000 0.4601542 0.5482030 0.5961590 0.5862151 0.6440678 0.6656337 0
최종 모델이 있습니다. 다음 매개변수로 랜덤 포레스트를 훈련할 수 있습니다.
- ntree = 800: 800개의 트리가 학습됩니다.
- mtry = 4: 각 분할에서 4개의 후보 특징이 추출됩니다.
- maxnodes = 24: 각 트리는 최대 24개의 말단 노드(잎 노드)로 제한됩니다.
fit_rf <- train(survived~., data_train, method = "rf", metric = "Accuracy", tuneGrid = tuneGrid, trControl = trControl, importance = TRUE, nodesize = 14, ntree = 800, maxnodes = 24)
5단계) 모델 평가
라이브러리 캐럿에는 예측 기능이 있습니다.
predict(model, newdata= df)
argument
- `model`: Define the model evaluated before.
- `newdata`: Define the dataset to make prediction
prediction <-predict(fit_rf, data_test)
예측을 사용하여 혼동 행렬을 계산하고 정확도 점수를 확인할 수 있습니다.
confusionMatrix(prediction, data_test$survived)
출력:
## Confusion Matrix and Statistics ## ## Reference ## Prediction No Yes ## No 110 32 ## Yes 11 56 ## ## Accuracy : 0.7943 ## 95% CI : (0.733, 0.8469) ## No Information Rate : 0.5789 ## P-Value [Acc > NIR] : 3.959e-11 ## ## Kappa : 0.5638 ## Mcnemar's Test P-Value : 0.002289 ## ## Sensitivity : 0.9091 ## Specificity : 0.6364 ## Pos Pred Value : 0.7746 ## Neg Pred Value : 0.8358 ## Prevalence : 0.5789 ## Detection Rate : 0.5263 ## Detection Prevalence : 0.6794 ## Balanced Accuracy : 0.7727 ## ## 'Positive' Class : No ##
이 모델은 미사용 테스트 세트에서 0.7943(79.43%)의 정확도를 달성했는데, 이는 기본 설정보다 높은 수치입니다. 민감도는 0.9091, 특이도는 0.6364로, 생존자보다 비생존자를 훨씬 더 정확하게 식별합니다.
6단계) 결과 시각화
마지막으로, varImp() 함수를 사용하여 특징 중요도를 살펴볼 수 있습니다. 가장 중요한 특징은 성별과 나이입니다. 중요한 특징은 트리의 뿌리 부분에 더 가깝게 나타나는 경향이 있고, 덜 중요한 특징은 일반적으로 잎 부분에 더 가깝게 나타나기 때문에 이는 놀라운 일이 아닙니다.
varImp(fit_rf)
출력:
## rf variable importance ## ## Importance ## sexmale 100.000 ## age 28.014 ## pclassMiddle 27.016 ## fare 21.557 ## pclassUpper 16.324 ## sibsp 11.246 ## parch 5.522 ## embarkedC 4.908 ## embarkedQ 1.420 ## embarkedS 0.000
R에서의 랜덤 포레스트: 빠른 함수 참조
아래 표는 6단계 전체에서 사용되는 모든 함수, 해당 함수를 제공하는 패키지 및 함수가 필요로 하는 매개변수를 나열합니다.
| 도서관 | 목표 | 함수 | 매개 변수 |
|---|---|---|---|
| 랜덤 포레스트 | 랜덤 포레스트를 생성합니다 | 랜덤포레스트() | 공식, ntree=n, mtry=FALSE, maxnodes = NULL |
| 탈자 부호 | k겹 교차 검증을 생성합니다. | 열차제어() | 방법 = "cv", 숫자 = n, 검색 = "그리드" |
| 탈자 부호 | 랜덤 포레스트 훈련 | 기차() | 공식, df, 메소드 = “rf”, metric= “정확도”, trControl = trainControl(), tuneGrid = NULL |
| 탈자 부호 | 표본 외부 예측 | 예측 | 모델, 새 데이터= df |
| 탈자 부호 | 혼동 행렬 및 통계 | 혼란행렬() | 모델, y 테스트 |
| 탈자 부호 | 변수의 중요성 | varImp() | 모델 |
부록: caret에서 사용 가능한 모델
`train()` 함수는 랜덤 포레스트 외에도 훨씬 더 많은 모델을 학습시킬 수 있습니다. 아래 명령어를 실행하여 caret에서 지원하는 모든 모델 식별자를 출력한 다음, 그중 하나를 `train()` 함수의 인수로 전달하세요.
names(getModelInfo())
출력:
## [1] "ada" "AdaBag" "AdaBoost.M1" ## [4] "adaboost" "amdai" "ANFIS" ## [7] "avNNet" "awnb" "awtan" ## [10] "bag" "bagEarth" "bagEarthGCV" ## [13] "bagFDA" "bagFDAGCV" "bam" ## [16] "bartMachine" "bayesglm" "binda" ## [19] "blackboost" "blasso" "blassoAveraged" ## [22] "bridge" "brnn" "BstLm" ## [25] "bstSm" "bstTree" "C5.0" ## [28] "C5.0Cost" "C5.0Rules" "C5.0Tree" ## [31] "cforest" "chaid" "CSimca" ## [34] "ctree" "ctree2" "cubist" ## [37] "dda" "deepboost" "DENFIS" ## [40] "dnn" "dwdLinear" "dwdPoly" ## [43] "dwdRadial" "earth" "elm" ## [46] "enet" "evtree" "extraTrees" ## [49] "fda" "FH.GBML" "FIR.DM" ## [52] "foba" "FRBCS.CHI" "FRBCS.W" ## [55] "FS.HGD" "gam" "gamboost" ## [58] "gamLoess" "gamSpline" "gaussprLinear" ## [61] "gaussprPoly" "gaussprRadial" "gbm_h3o" ## [64] "gbm" "gcvEarth" "GFS.FR.MOGUL" ## [67] "GFS.GCCL" "GFS.LT.RS" "GFS.THRIFT" ## [70] "glm.nb" "glm" "glmboost" ## [73] "glmnet_h3o" "glmnet" "glmStepAIC" ## [76] "gpls" "hda" "hdda" ## [79] "hdrda" "HYFIS" "icr" ## [82] "J48" "JRip" "kernelpls" ## [85] "kknn" "knn" "krlsPoly" ## [88] "krlsRadial" "lars" "lars2" ## [91] "lasso" "lda" "lda2" ## [94] "leapBackward" "leapForward" "leapSeq" ## [97] "Linda" "lm" "lmStepAIC" ## [100] "LMT" "loclda" "logicBag" ## [103] "LogitBoost" "logreg" "lssvmLinear" ## [106] "lssvmPoly" "lssvmRadial" "lvq" ## [109] "M5" "M5Rules" "manb" ## [112] "mda" "Mlda" "mlp" ## [115] "mlpKerasDecay" "mlpKerasDecayCost" "mlpKerasDropout" ## [118] "mlpKerasDropoutCost" "mlpML" "mlpSGD" ## [121] "mlpWeightDecay" "mlpWeightDecayML" "monmlp" ## [124] "msaenet" "multinom" "mxnet" ## [127] "mxnetAdam" "naive_bayes" "nb" ## [130] "nbDiscrete" "nbSearch" "neuralnet" ## [133] "nnet" "nnls" "nodeHarvest" ## [136] "null" "OneR" "ordinalNet" ## [139] "ORFlog" "ORFpls" "ORFridge" ## [142] "ORFsvm" "ownn" "pam" ## [145] "parRF" "PART" "partDSA" ## [148] "pcaNNet" "pcr" "pda" ## [151] "pda2" "penalized" "PenalizedLDA" ## [154] "plr" "pls" "plsRglm" ## [157] "polr" "ppr" "PRIM" ## [160] "protoclass" "pythonKnnReg" "qda" ## [163] "QdaCov" "qrf" "qrnn" ## [166] "randomGLM" "ranger" "rbf" ## [169] "rbfDDA" "Rborist" "rda" ## [172] "regLogistic" "relaxo" "rf" ## [175] "rFerns" "RFlda" "rfRules" ## [178] "ridge" "rlda" "rlm" ## [181] "rmda" "rocc" "rotationForest" ## [184] "rotationForestCp" "rpart" "rpart1SE" ## [187] "rpart2" "rpartCost" "rpartScore" ## [190] "rqlasso" "rqnc" "RRF" ## [193] "RRFglobal" "rrlda" "RSimca" ## [196] "rvmLinear" "rvmPoly" "rvmRadial" ## [199] "SBC" "sda" "sdwd" ## [202] "simpls" "SLAVE" "slda" ## [205] "smda" "snn" "sparseLDA" ## [208] "spikeslab" "spls" "stepLDA" ## [211] "stepQDA" "superpc" "svmBoundrangeString"## [214] "svmExpoString" "svmLinear" "svmLinear2" ## [217] "svmLinear3" "svmLinearWeights" "svmLinearWeights2" ## [220] "svmPoly" "svmRadial" "svmRadialCost" ## [223] "svmRadialSigma" "svmRadialWeights" "svmSpectrumString" ## [226] "tan" "tanSearch" "treebag" ## [229] "vbmpRadial" "vglmAdjCat" "vglmContRatio" ## [232] "vglmCumulative" "widekernelpls" "WM" ## [235] "wsrf" "xgbLinear" "xgbTree" ## [238] "xyf"
