数据分析与机器学习的区别:
1、数据特点:
(1)
* 数据分析处理交易数据(和钱有关系的);
* 机器学习处理行为数据(搜索历史、点击历史、浏览历史、评论)。
(2)数据量
* 数据分析是少量数据
* 机器学习是海量数据
(3)分析方法:
* 数据分析采用采样分析
* 机器学习采用全量分析
NOSQL:非关系型的数据库,只能用来处理行为数据,而不能处理交易数据。如MangoDB。
2、解决业务问题不同:
* 数据分析:报告过去的事情
* 机器学习:预测未来的事情
3、技术手段不同:
(1)分析方法:
* 数据分析:用户驱动&交互式分析&OLAP
* 机器学习:数据驱动&自动进行知识发现&数据挖掘
(2)分析技术:
* 数据分析:多维、钻取、多层次、多视角观察(透视表)
* 机器学习:准备数据、引入挖掘工具后就不管了
4、参与者不同:
(1)
* 数据分析:分析师、算法+数据,分析师能力决定结果
* 机器学习:数据质量决定结果
(2)目标用户:
* 数据分析:公司高层
* 机器学习:个体用户
算法分类一:
* 有监督学习
* 无监督学习
* 半监督学习
1、有监督学习:
* 分类算法:X类&Y类
* 回归算法:
2、无监督学习:
* 聚类
3、半监督学习(强化学习)
算法分类二:
* 分类与回归
* 聚类
* 标注
算法分类三:很重要!!!!
* 生成模型
* 判别模型
1、生成模型:指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。
在机器学习中,生成模型可以用来直接对数据建模(例如对一个概率密度函数产生的数据建模),或者作为建立条件概率密度函数的中间过程。条件概率分布可以有生成模型根据贝叶斯准测形成。
2、判别模型:是一种对为观测数据y与已观测数据x之间关系进行建模的方法。与生成模型不同,判别模型不考虑x与y之间的联合分布。