电商网站一般怎么记录或者提取用户行为数据做大数据分析？

Question

一：可从前段埋点、后端日志两个角度描述
二：其实也有看过如 GrowingIO的第三方方案，不过涉及用户数据还是不安全
三：如果有现有的 GitHub项目方案就更好了

Answer 1

一般来说就是前端埋点，上报，通过某个中间件，然后汇总到Hive。后端日志的话，可以通过logstash+kafka的方式，导入到Hive。都汇总到Hive之后，先对数据进行清洗，对数据格式进行规范话，然后使用Spark平台进行一些需要的分析。大致就是这样。