飞行数据集的准确度非常低

Question

我正在尝试训练一个模型，以根据航空公司、月份中的某天、目的地和出发地来预测出发延迟。我尝试了几种方法，但准确性非常低。 在这里输入图像描述 拳头我使用了直接从 -20 到 +20 分钟变化的延迟标签，我尝试通过设置间隔来使其更容易：对于 [0 5[ => 0 [5 10] => 1 ..etc 的延迟

但准确性仍然很差，我尝试了几种方法；

更改图层

不规范化特征移除和添加新特征

但我仍然找不到有效的东西

################### 加载数据集

df= dataset[['UniqueCarrier','DayofMonth','DepDelay','Dest','Origin']]

df.tail()

df = df.dropna()

df = df[(df['DepDelay'] <= 20) & (df['DepDelay'] <= 20)]

############### 掩码延迟值

ask = (df.DepDelay > 0) &  (df.DepDelay < 5)

column_name = 'DepDelay'

df.loc[mask, column_name] = 0

mask = (df.DepDelay >= 5) &  (df.DepDelay < 10)

column_name = 'DepDelay'

df.loc[mask, column_name] = 1

mask = (df.DepDelay >= 10) &  (df.DepDelay < 15)

column_name = 'DepDelay'

df.loc[mask, column_name] = 2

mask = (df.DepDelay >= 15) &  (df.DepDelay <= 20)

column_name = 'DepDelay'

df.loc[mask, column_name] = 3

mask = (df.DepDelay >= -5) &  (df.DepDelay < 0)

column_name = 'DepDelay'

df.loc[mask, column_name] = -1

mask = (df.DepDelay >= -10) &  (df.DepDelay < -5)

column_name = 'DepDelay'

df.loc[mask, column_name] = -2

mask = (df.DepDelay >= -15) &  (df.DepDelay < -10)

column_name = 'DepDelay'

df.loc[mask, column_name] = -3

mask = (df.DepDelay >= -20) &  (df.DepDelay < -15)

column_name = 'DepDelay'

df.loc[mask, column_name] = -4

############### 拆分标签和特征

y= df['DepDelay']

df.drop(columns = ['DepDelay'], inplace = True, axis = 1)

################ 替换字符值

from sklearn import preprocessing

le = preprocessing.LabelEncoder()

df['Dest'] = le.fit_transform(df.Dest.values)

df['Origin'] = le.fit_transform(df.Origin.values)

df['UniqueCarrier'] = le.fit_transform(df.UniqueCarrier.values

######################### 标准化

from sklearn.preprocessing import StandardScaler

from sklearn import preprocessing

# Normalize Training Data 

std_scale = preprocessing.StandardScaler().fit(df)

df_norm = std_scale.transform(df)

training_norm_col1 = pd.DataFrame(df_norm, index=df.index, 

    columns=df.columns) 

df.update(training_norm_col1)

print (df.head())

Answer 1

当loss = 'mean_squared_error'在单节点最后一层使用和不激活（即默认的线性）时，就像您在这里所做的那样，您处于回归设置中，其中准确性没有意义（仅在分类问题中有意义）。不幸的是，在这种情况下，Keras 不会“保护”您，坚持计算并报告“准确性”，尽管它对您的问题毫无意义且不合适 - 请参阅我在什么函数定义 Keras 中的准确性时的回答损失是均方误差（MSE）？如果你想坚持回归设置，你应该简单地metrics=['accuracy']从你的模型编译中删除，不要打扰 - 在回归设置中，MSE 本身可以（并且通常确实）也可以作为性能指标。但这意味着您将尝试直接预测数值，而不是您所描述的来自分箱的“标签”。如果您想预测分箱间隔，例如[0 5] => 0&nbsp;[5 10] => 1&nbsp;等，即在分类设置中工作，您应该将损失更改为categorical_cross_entropy并保持准确性作为您的指标。请记住，您还应该将标签转换为单热编码的标签（请参阅 Keras to_categorical），并将最后一层替换为model.add(Dense(num_classes, activation='softmax'))num_classes您的分箱过程产生的类数在哪里。