爬虫爬取的数据如何可视化？

Question

我最近爬了一个熊猫tv的一些数据，比如主播id和竹子数来进行比较。

现在这些数据我是保存为csv文件，然后用的语言是python。

现在我把他部署到了主机上，每天8pm爬取一次。

那么我如何展现这些数据呢？好疑惑，现在暂时有以下想法。

1. csv直接变成html表格

2. 使用类似jinja2之类的模板

3. 将数据存储起来，用js处理，正好做个网站（本人学了一丢丢前端知识）

最后放上github地址：panda-bamboos-rank

Answer 1

最近帮别人处理过类似的一些数据可视化的内容，提供一点思路：所谓可视化，肯定不单纯是变成简易的表格展示数据，而是要在数据的基础上做出二次加工，让数据更加“易懂”。所以主要就是加工数据和展示数据两方面。加工数据：如果你已经保存成了csv表格，那么可以将csv导入到数据库中，借助数据库高效的处理能力帮你加工数据，数据量越大，数据库的作用越明显。当然，更简单的方法是用Python直接连接数据库进行储存，更灵活，可选的数据库也更多。展示数据：主要取决于你展示给谁看？传统的方式例如你处理好了数据，用一些制图工具加工成对应的图片。更现代的方式是用一些前端类库将数据加工成可交互的图表，利用网页的形式进行展示，相比之下更加灵活。前端图表库的话，highcharts.js和echarts.js大而全，chart.js较小巧。不过我是d3.js忠实拥趸，d3到v4之后已经模块化，非常灵活。