如何在 scikit Learn（Python）中优化我的随机森林模型

Question

我有一个使用 scikit 学习的随机森林模型，如下所示：

model = RandomForestClassifier(criterion='gini',n_estimators=700,min_samples_split=4,min_samples_leaf=1,max_features='auto',oob_score=True,random_state=1,n_jobs=-1)

model.fit(X_train,y_train)

y_pred_rm=model.predict(X_test)

print('--------------The Accuracy of the model---------------------------')

kfold = KFold(n_splits=10, random_state=22)

result_rm = cross_val_score(model, all_features, Targeted_feature, cv=10, scoring = 'accuracy')

print('The cross validated score for Random Forest Classifier is:',round(result_rm.mean()*100,2))

y_pred = cross_val_predict(model,all_features,Targeted_feature,cv=10)

kfold = KFold(n_splits=5, random_state=22)

result_rm1 = cross_val_score(model, all_features, Targeted_feature, cv=5, scoring='accuracy')

print('The cross validated score (5)for Random Forest Classifier is:',round(result_rm1.mean()*100,2))

sns.heatmap(confusion_matrix(Targeted_feature,y_pred),annot=True,fmt='3.0f',cmap="winter")

plt.title('Confusion_matrix', y=1.05, size=15)

我一直在尝试优化我的模型，但还没有取得任何成功。我在测试数据集上达到的最高准确率是 78%。您有任何想法或步骤可以改进我的模型吗？

Answer 1

如果不尝试使用 sklearn 中的 GridSearchCV 或 RandomizedSearchCV，您是否尝试过使用超参数调整？即使那样，如果您无法提高模型分数，请尝试使用 XGboost 或进行特征工程以找到有用的特征来进行预测。我希望您已经完成了所有必要的数据预处理，如果还没有完成，那也是非常重要的。尝试其他机器学习模型，它们也有可能表现更好。

Answer 2

看起来好像您已经尝试过超参数调整。是什么让您认为您可以获得高于 78% 的准确率分数？如果您在尝试对训练集进行预测时计算准确度得分，您是否接近 100% 的准确度？如果是这样，那么这是一个过度拟合的问题，您可以尝试减少 RandomForest 中的树的数量。如果您没有获得非常高的训练准确率，那么可能您拥有的特征不足以对数据进行预测，您可能会考虑收集更多特征。这个问题叫做欠拟合。