最小二乘法模型
最小二乘法模型
最小二乘法模型
向量表示
Y=θX,θ和X是矩阵
L=1/2(θX-Y)^T(θX-Y)
第二行为损失函数(欧几里得距离/向量中向量空间的距离)
//这个损失函数是线性的,而神经网络的损失函数是非线性的
最小二乘法模型
A=(seta*x-y) (A为一维列向量)
L=1/2*A^2 = (seta*x-y)^T (seta*x-y)=x^T*seta^T*seta*x-x^T*setaT*y-y^T*seta*x+y^T*y
L对seta求偏导:1/2*{x^T*x*[seta+(seta^T)^T] - x^T*y - (y^T*x)^T}=1/2[2*x^T*x*seta - 2*x^T*y] = x^T*x*seta - x^T*y
令L'=0有seta = (x^T*x)^-1*(x^T*y)
所以当seta = (x^T*x)^-1*(x^T*y)时L最小
最小二乘模型
理解向量运算进行参数求解过程
向量表示
Y=θX,θ和X是矩阵
L=1/2(θX-Y)^T(θX-Y)
第二行为损失函数(欧几里得距离/向量中向量空间的距离)
//这个损失函数是线性的,而神经网络的损失函数是非线性的
理解向量运算进行参数求解过程
向量表示
Y=θX,θ和X是矩阵
L=1/2(θX-Y)^T(θX-Y)
第二行为损失函数(欧几里得距离/向量中向量空间的距离)
//这个损失函数是线性的,而神经网络的损失函数是非线性的
最小二乘法模型
最小二乘法模型
最小二乘法模型
理解向量运算进行参数求解过程
向量表示
Y=θX,θ和X是矩阵
L=1/2(θX-Y)^T(θX-Y)
第二行为损失函数(欧几里得距离/向量中向量空间的距离)
//这个损失函数是线性的,而神经网络的损失函数是非线性的
目的是找到一个L,使函数最小
//求极值或者求最小值就是对一个函数求导
θ=((X^T)X)^-1(X^T)Y //参数计算
就是第二行的损失函数的求导结果
最小二乘法模型
最小二乘法模型
最小二乘法模型