机器学习与数据分析的区别
处理的数据类型和特点
交易数据 vS 行为数据
少量数据 vs 海量数据
采样分析 vs 全量分析
数据分析:
数据类型:主要处理交易数据,例如电商网站用户下单、银行存取款账单等。
数据量:通常涉及的数据量较少。
数据分析方法:倾向于采用采样分析,因为数据量不大,可以对样本进行深入分析。
数据一致性:对数据一致性要求严格,尤其是在金融交易等场景中,数据的准确性至关重要。
数据库使用:因此,数据分析通常使用关系型数据库,如SQL Server、MySQL、Oracle等,这些数据库能够保证事务的ACID属性(原子性、一致性、隔离性、持久性),确保数据的准确性和一致性。
机器学习:
数据类型:主要处理行为数据,例如用户的搜索历史、浏览历史、点击历史、评论等。
数据量:涉及的数据量庞大,通常需要处理海量数据。
数据分析方法:倾向于进行全量分析,以捕捉数据中的所有模式和趋势。
数据一致性:对数据一致性的要求相对较低,更注重数据吞吐量和处理速度。
数据库使用:因此,机器学习通常使用NoSQL数据库(如MongoDB)和分布式数据分析平台(如Hadoop、Spark),这些技术能够处理大规模数据集,并且具有高吞吐量和灵活性。
2. 数据处理方法和工具
数据分析:
侧重于使用统计方法和查询语言(如SQL)来分析数据,以支持决策制定。
工具和语言包括Excel、R、Python(Pandas库)等。
机器学习:
侧重于使用算法和模型来从数据中学习模式,并进行预测或分类。
工具和框架包括TensorFlow、PyTorch、Scikit-learn等。
-----
用 Nosql 处理行为数据,跟钱相关的数据,是不会用 nosql 去处理的。
一、机器学习和数据分析的区别
数据特点:
数据分析:交易数据,少量数据,采样分析
机器学习:行为数据,海量数据,全量分析
NO SQL 一致性弱。适合存行为数据,不适合存交易数据。
CAP:consistency, availability, and partition
NoSQL 行为数据处理。
第4章 数据分析和机器学习的区别
4-1 区别(1)
数据特点:传统的数据分析处理的是交易数据(和钱有关的数据) 少量数据 对数据的一致性非常严格
采样分析
机器学习处理的是行为数据(与用户的历史行为有关) 海量数据 对数据一致性要求并不高
全量分析
交易型数据(跟钱有关系的操作数据)使用关系型数据库(MySQL SQLSEVER)
行为型数据使用NOSQL
机器学习和数据分析的区别:
一、数据特点不同(数据类别、数据量、数据分析方法)
机器学习:行为数据(如搜索历史、浏览历史、点击历史、评论等);海量分析,一致性要求相对不高;全量分析
数据分析:交易数据(与钱相关,如用户订单、存取款账单、话费账单等)少量数据,一致性要求严格(如银行存取款,数据精准);采样分析
数据的特点:
交易数据vs行为数据
少量数据vs海量数据
采样分析vs全量分析
交易数据要求数据一致性高(事务保证)。
NoSQL 适合存储行为数据(一致性差)
关系型的 适合存储交易数据(一致性高)
NoSql(Not Only)数据库:主要用来处理行为型数据,即海量数据;
传统数据库:交易型数据必须用传统数据库
机器学习:行为数据+交易数据 海量数据 全量分析
数据分析:交易数据 少量数据 采样分析
noSQL 记录行为数据
SQL 记录交易数据(不可丢失的)
机器学习和数据分析
机器学习和数据分析的区别:
一、数据特点不同(数据类别、数据量、数据分析方法)
机器学习:行为数据(如搜索历史、浏览历史、点击历史、评论等);海量分析,一致性要求相对不高;全量分析
数据分析:交易数据(与钱相关,如用户订单、存取款账单、话费账单等)少量数据,一致性要求严格(如银行存取款,数据精准);采样分析
机器学习的数据分析的区别
数据特点:
机器学习-----行为数据-海量数据-全量分析
数据分析-----交易数据-少量数据-采样数据
Not Only SQL---分布式,只能进行行为数据的存储
机器学习与数据分析的区别
机器学习和数据分析的区别:
1)处理数据类型:行为数据(搜索历史、浏览历史等),交易数据(与钱相关,有用户订单,账单等)
2)数据量:海量数据,少量数据
3)分析方法:全量分析,采样分析
机器学习和数据分析的区别
1.数据特点
交易数据(数据分析,账单、订单等) vs 行为数据(机器学习,搜索历史、点击历史、浏览历史、评论)【NOSQL(Not Only SQL)数据库只能用于处理行为数据,强调的是分布式、CAP理论,保证数据吞吐量的前提下,在数据一致性上打折扣】
少量数据 vs 海量数据
采样分析(要求一致性,比如转账) vs 全量分析(一致性要求不高)
交易数据:少
行为数据:多
销售数据
行为数据:搜索历史、点击历史、浏览历史、评论
交易数据:存取款账单 用户订单 话费账单(跟钱有关的数据)
行为数据:搜索历史 点击历史 浏览历史 评论
机器学习和数据分析的区别:交易数据VS行为数据
少量数据VS海量数据
采样分析VS全量分析
行为数据有
交易数据(强调数据一致性) 少量分析 关系型数据库
行为数据 全量分析 nosql
传统:交易数据
机器:行为数据
No Sql数据库擅长处理行为数据
行为数据
交易数据:
与钱相关的数据,例如电商平台上的用户订单
机器学习和数据分析的区别1:处理的数据不同
数据分析:交易数据、少量数据、采样分析。对数据一致性要求严格,使用关系型数据库sql serve、mysql、oracle。
机器学习:行为数据、海量数据、全量分析。需要保证数据吞吐量,数据一致性可以打折扣,所以用NoSQL数据库(MongoDB、nosql)和分布式数据分析平台(Hadoop、Spark)
交易数据 :电商网站用户下单、银行存取款账单
行为数据:用户的搜索历史、浏览历史、点击历史、评论