??本文介绍基于Python的随机森林（Random Forest，RF）回归代码，以及模型超参数（包括决策树个数与最大深度、最小分离样本数、最小叶子节点样本数、最大分离特征数等）自动优化的代码。

??本文是在上一篇文章Python实现随机森林RF并对比自变量的重要性的基础上完成的，因此本次仅对随机森林模型超参数自动择优部分的代码加以详细解释；而数据准备、模型建立、精度评定等其他部分的代码详细解释，大家直接点击上述文章Python实现随机森林RF并对比自变量的重要性查看即可。

??其中，关于基于MATLAB实现同样过程的代码与实战，大家可以点击查看文章MATLAB实现随机森林（RF）回归与自变量影响程度分析。

??本文分为两部分，第一部分为代码的分段讲解，第二部分为完整代码。

1 代码分段讲解

1.1 数据与模型准备

??本部分是对随机森林算法的数据与模型准备，由于在之前的博客中已经详细介绍过了，本文就不再赘述~大家直接查看文章Python实现随机森林RF并对比自变量的重要性即可。

import pydot
import numpy as np
import pandas as pd
import scipy.stats as stats
import matplotlib.pyplot as plt
from pprint import pprint
from sklearn import metrics
from openpyxl import load_workbook
from sklearn.tree import export_graphviz
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import RandomizedSearchCV

# Attention! Data Partition
# Attention! One-Hot Encoding

train_data_path='G:/CropYield/03_DL/00_Data/AllDataAll_Train.csv'
test_data_path='G:/CropYield/03_DL/00_Data/AllDataAll_Test.csv'
write_excel_path='G:/CropYield/03_DL/05_NewML/ParameterResult_ML.xlsx'
tree_graph_dot_path='G:/CropYield/03_DL/05_NewML/tree.dot'
tree_graph_png_path='G:/CropYield/03_DL/05_NewML/tree.png'

random_seed=44
random_forest_seed=np.random.randint(low=1,high=230)

# Data import

train_data=pd.read_csv(train_data_path,header=0)
test_data=pd.read_csv(test_data_path,header=0)

# Separate independent and dependent variables

train_Y=np.array(train_data['Yield'])
train_X=train_data.drop(['ID','Yield'],axis=1)
train_X_column_name=list(train_X.columns)
train_X=np.array(train_X)

test_Y=np.array(test_data['Yield'])
test_X=test_data.drop(['ID','Yield'],axis=1)
test_X=np.array(test_X)

1.2 超参数范围给定

??首先，我们需要对随机森林模型超参数各自的范围加以确定，之后我们将在这些范围内确定各个超参数的最终最优取值。换句话说，我们现在先给每一个需要择优的超参数划定一个很大很大的范围（例如对于“决策树个数”这个超参数，我们可以将其范围划定在10到5000这样一个很大的范围），然后后期将用择优算法在每一个超参数的这个范围内进行搜索。

??在此，我们先要确定对哪些超参数进行择优。本文选择在随机森林算法中比较重要的几个超参数进行调优，分别是：决策树个数n_estimators，决策树最大深度max_depth，最小分离样本数（即拆分决策树节点所需的最小样本数）min_samples_split，最小叶子节点样本数（即一个叶节点所需包含的最小样本数）min_samples_leaf，最大分离特征数（即寻找最佳节点分割时要考虑的特征变量数量）max_features，以及是否进行随机抽样bootstrap等六种。关于上述超参数如果大家不是太了解具体的含义，可以查看文章Python实现随机森林RF并对比自变量的重要性的1.5部分，可能就会比较好理解了（不过其实不理解也不影响接下来的操作）。

??这里提一句，其实随机森林的超参数并不止上述这些，我这里也是结合数据情况与最终的精度需求，选择了相对比较常用的几个超参数；大家依据各自实际需要，选择需要调整的超参数，并用同样的代码思路执行即可。

# Search optimal hyperparameter

n_estimators_range=[int(x) for x in np.linspace(start=50,stop=3000,num=60)]
max_features_range=['auto','sqrt']
max_depth_range=[int(x) for x in np.linspace(10,500,num=50)]
max_depth_range.append(None)
min_samples_split_range=[2,5,10]
min_samples_leaf_range=[1,2,4,8]
bootstrap_range=[True,False]

random_forest_hp_range={'n_estimators':n_estimators_range,
                        'max_features':max_features_range,
                        'max_depth':max_depth_range,
                        'min_samples_split':min_samples_split_range,
                        'min_samples_leaf':min_samples_leaf_range
                        # 'bootstrap':bootstrap_range
                        }
pprint(random_forest_hp_range)

??可以看到，上述代码首先是对六种超参数划定了一个范围，然后将其分别存入了一个超参数范围字典random_forest_hp_range。在这里大家可以看到，我在存入字典时，将bootstrap的范围这一句注释掉了，这是由于当时运行后我发现bootstrap还是处于True这个