一、贝叶斯公式
在已知一些条件下(部分事件发生的概率),实现对目标事件发生概率更准确的预测
P(B|A) = P(B) * P(A|B) / P(A)
贝叶斯公式则是利用条件概率和全概率公式计算后验概率
二、朴素贝叶斯
以贝叶斯定理为基础,假设特征之间相互独立,先通过训练数据集,学习从输入到输出的概率分布,再基于学习到的模型及输入,求出使得后验概率最大的输出实现分类。
P(Y|X) = P(Y) * P(X|Y) / P(X)
贝叶斯公式:
贝叶斯公式延伸:(和全概率公式结合)
贝叶斯公式例子:
朴素贝叶斯:
y表示可能的分类,比如y1,y2,y3. 求P(y1),P(y3),P(y3),如果P(y1)最大,说明应该分类到y1.
第一个公式:X,表示一行,一条记录。P(Y|X)含义:在符合X的所有特征的情况下,yi 的概率。比如:使用iphone,男性,购买可能的概率。X是个向量,是一行。xj指的是本条记录(一个用户)的第j个特征。
第二个公式 P(xj | y = yi)的含义:x表示一行,一条记录。总的含义是,在y为yi的情况下,特征 x 取值为(x1..xj ...xm)(并的关系) 的概率。 例子:购买课程 的条件下(yi),使用ipone 而且为男性的 概率 = 购买课程的条件下(yi)使用iphone的概率 乘以 购买课程 的条件下(yi)为男性的概率 。
第三个公式,是展开了公式1。分子1: P(Y)好说,就是P(yi),购买课程的概率。分子2: 就是公式2。 分母就是P(X)的概率,例子:使用iphone且为男性的概率。分母P(X)等于P(x1)*P(x2)... 就是,等于 使用ipone的概率 乘以 男性的概率。PS:前提是 x1,x2 ... xm (m个特征),特征独立, 就是使用的手机型号和性别 两个因素独立。
朴素贝叶斯例子:
案例