第四周的主要内容是神经网络，个人觉得讲得比较跳，所以补充几篇文章加深一下理解：
But what *is* a Neural Network?
先提一下，
本人设计背景，没学过微积分，这篇只当是笔记，有不准确或不足之处请大家在下方评论。
本文是步骤分析，所以会把答案写出来，还没有做作业的请绕道。
ex3 的作业的训练集5000个20 x 20-pixel 的手写数字。我们将数据加载：
% Load saved matrices from file
load('ex3data1.mat');
% The matrices X and y will now be in your MATLAB environment我们可以看到 X 是5000 x 400 的一个矩阵，每一行是一个数字每像素的灰度值。
X and y
Visualizing the data
这周的作业内容为四个function，完成后就可以识别上图的手写数字啦
Regularized logistic regression - 30
One-vs-all classifier training - 20
One-vs-all classifier prediction - 20
Neural network prediction function - 30
lrCostFunction
第一个lrCostFunction.m 文件看着无比眼熟，没错这个和上周的costfunctionReg.m 应该是一模一样的。只不过 ex3 要求用向量化也就是矩阵表达。这个课程默认是 ex2 用loop, ex3 用向量。如果 ex2 就使用了向量，那 ex3 的第一个作业就很轻松了（很郁闷为什么不早点给向量化的解释，ex2 就省得我自己算那么久了）。
Vectorize cost function
Vectorize the gradient
上面代价函数的向量化很好理解，主要是 vectorize the gradient 关于 X 的转置有点绕人。
逻辑回归正则化就是根据公式在后面加上 lambda blabla... 不过求偏导数的时候要注意theta0 不需要正则化，所以要单独拿出来。
Vectorize regularized logistic regression
h = sigmoid(X * theta) cost = 1/m * sum(-y .* log(h) - (1-y) .* log(1-h)); % 这里是 .* 而非 * 是因为将矩阵里每个元素相乘而非矩阵相乘 regCost = lambda / (2*m) * sum(theta(2:end) .^ 2) % 排除theta(1) J = cost + regCost; grad = 1/m * X' * (h - y) % 偏导数向量化看 Vectorize the gradient 那张图 temp = lamba / m * theta; temp(1) = 0; grad = grad + temp;
One-vs-all
在第四周的视频里，我们了解到One vs all 的基本概念就是把多个分类转化为二元分类的问题。比如第一个判断是不是0，第二个判断是不是1... OneVsAll 函数就是求10个类的参数θ值。
这里我们要用到 fmincg 函数，和上一个练习的 fminuc 差不多，可以返回代价函数最小化的参数θ和相对应的cost. fmincg 更适合参数较多的情况。
% Set initial theta
initial_theta = zeros(n + 1, 1);
% Set options for fmincg 按照示例写就行
% 这里用梯度下降法，最大迭代次数50次
options = optimset('GradObj', 'on', 'MaxIter', 50);for c = 1: num_labels
% Run fmincg to obtain the optimal theta
all_theta(c,:) = fmincg(@(t)(lrCostFunction(t, X, (y == c), lambda)), initial_theta, options);
end在ex3.mlx 里设置一下 label 数量和 lambda 值
num_labels = 10; % 10 labels, from 1 to 10 lambda = 0.1; [all_theta] = oneVsAll(X, y, num_labels, lambda);
all_theta 是一个 10x401的矩阵，每行是每个类（本练习是0, 1, 2, 3 .... 9）的theta值。
all_theta
Predict OneVsAll
有了这一堆 theta 值，我们就有了训练好的分类器，接下来可以预测一个图片是什么数字了。我们可以先算出该图片为0, 1, 2, 3 ... 的概率，概率最大的即判断为这个数。
这里用sigmoid(X * all_theta') 计算概率。X是一个5000x401的矩阵，all_theta' 是一个401x10的矩阵，相乘后为5000x10的矩阵，每行是这个图分别为1, 2, 3, 4, .... 0 的概率。我们取每行的最大值并判断其为该类别。
我自己脑子不太转得过来，先看看 X * all_theta 的结果：
B = [ones(m, 1) X] * all_theta; B(1:4, :) % 提取前4行的结果
X * all_theta' 前四行
再看看加了sigmoid
C = sigmoid([ones(m, 1) X] * all_theta); C(1:4, :) % 提取前4行的结果
sigmoid(X * all_theta') 前四行：其中每个元素都是介于0和1之间的
作业提示可以用 max 函数返回最大值。如果 A 是一个向量，max(A) 返回A中最大元素，如果 A 是矩阵，max(A) 会将每一列作为一个向量，返回一个行向量，该向量的第 i 个元素是矩阵A 第 i 列上的最大值（参考：matlab 中max函数用法）。
max function
Predict OneVsAll 的代码只有短短几行：
function p = predictOneVsAll(all_theta, X)m = size(X, 1); num_labels = size(all_theta, 1); % p是需要返回的结果 p = zeros(size(X, 1), 1); % 在X前加一列1X = [ones(m, 1) X]; [x, p] = max(sigmoid(X * all_theta'), [], 2);
这里p返回的是行号也就是类。
测试一下准确率，为95.04000.
pred = predictOneVsAll(all_theta, X);
fprintf('\nTraining Set Accuracy: %f\n', mean(double(pred == y)) * 100);Predict
下一个部分就是将刚刚学到的多元分类运用到神经网络中啦！最后一个其实不难，主要工作是建立一个三层的神经网络。而且作业里已经有了Theta1 和 Theta2, 分别是 25x401 和 10 x 26 的矩阵（Theta矩阵的大小为 s(j+1) x s(j) + 1）。先回顾一下模型：
Model Representation.png
a1就是在 X 前加一列1，a2 为用Theta1计算出的第二层的值。
a1 = [ones(m, 1) X]; % 输入层 a2 = [ones(m,1) sigmoid(a1 * Theta1')]; % 隐藏层 [x, p] = max(sigmoid(a2 * Theta2'), [], 2); % 输出层
在 main 函数里看一下准确率大概是97.5%.
pred = predict(Theta1, Theta2, X);
fprintf('\nTraining Set Accuracy: %f\n', mean(double(pred == y)) * 100);最后一段可以随机挑选某个digit 进行预测，非常有趣
Predict digit
作者：郭舒简
链接：https://www.jianshu.com/p/be15a87eba60