2018-8-6
个人前置条件：
已经将《统计学习方法》《机器学习实战》一刷80%
西瓜书一刷50%，tensorflow实战一刷70%
kaggle上参与过titanic(Top 6%)和数字识别(Top 12%)
比较了解pandas，numpy，matplotlib，seaborn，tensorflow，sklearn
x
知识点记录
softmax以及其特性（数值越大越武断，越小越均等） 单纯加减常量，softmax后不变
one-hot编码、交叉熵(非对称)
SGD技巧
均值为0 同方差
初始化随机，方差要小
Momentum 动量，保留上一步梯度下降运动的趋势 M=0.9M+0.1M
学习速率递减（多种多样的递减方法……）
Ada 降低对超参数的敏感度，但没有momentum更准确
对小型模型，出现问题先降学习速率
train dev test
模型水平提高可信（Rule of 30）至少多预测对30个样本
大于3万个实例作为验证集，精确到十分位0.1%
sklearn所学
代码
os.listdir(folder)
作者：MWhite
链接：https://www.jianshu.com/p/4bff2284a682
x