猿问

使用 PySpark 将 CrossValidator 对象拟合到训练数据错误

我在这里发现了很多关于从拟合的 CrossValidator 对象中提取最佳模型参数的问题,但我还没有发现有关此特定错误的任何信息。我正在尝试创建一个 CrossValidator 对象并将其适合我的训练数据,然后根据我的初始线性回归模型评估指标。我的数据集已被消化为适当的格式,并分为训练集和测试集,并成功应用于第一个线性回归模型。第一次尝试交叉验证,我不知何故搞砸了,因为最后一行代码返回“ IllegalArgumentException:标签不存在。可用:PE,功能,CrossValidator_3fda633cd32d_rand,预测”,其中“PE”是我的标签Col.


from pyspark.ml.regression import LinearRegression 

from pyspark.ml.evaluation import RegressionEvaluator

from pyspark.ml.tuning import CrossValidator, ParamGridBuilder


lrCV = LinearRegression(featuresCol='features', labelCol='PE', maxIter=50)


#Creating a grid of parameter values that the cross-validation will use


paramGrid = ParamGridBuilder() \

  .addGrid(lrCV.regParam, [1, 0.1, 0.01]) \

  .addGrid(lrCV.elasticNetParam, [0.0, 0.5, 1.0, 2]) \

  .addGrid(lrCV.fitIntercept, [True, False]) \

  .build()


#Create an instance of the CrossValidator object and enter our predefined parameters


crossVal = CrossValidator(estimator=lrCV,

                         estimatorParamMaps=paramGrid,

                         evaluator=RegressionEvaluator(),

                         numFolds=5)


lrModelCV = crossVal.fit(train)

有人有什么建议吗?我猜这是我忽略的非常简单的事情,但我一生都无法找到它是什么。提前致谢。


繁花如伊
浏览 121回答 1
1回答

慕婉清6462132

默认情况下,CrossValidation 期望输出标签被命名label您可以在开始时创建输出列label以避免所有混乱或者你也可以传递labelCol='PE'给RegressionEvaluator()RegressionEvaluator(labelCol='PE')
随时随地看视频慕课网APP
我要回答