从100万行log记录中筛选有价值的信息

Question

问题：从100万行log记录中筛选有价值的信息，需要用到什么知识？是大数据么？具体是大数据的哪部分知识？把他们筛选出来，用什么工具？对它们分析，用什么工具？想自学这方面的东西，希望懂的人给个指点。多谢~~

Answer 1

100万行正常的日志，真的不大，grep即可

Answer 2

我在这儿说一下，大数据不仅仅是数据量大，况且你的数据量也不大。无论是互联网时代还是大数据时代，技术永远是工具，去更好帮助人们解决生活社会问题的工具。就目前而言面对大量的数据，我认为我们可以做两件事，一，目标明确的查询检索，那可能会用到hadoop或者spark这些分布式运算引擎帮你快速计算出你要的结果；二，挖掘潜在价值，也就是你说的”筛选有价值的信息“，这可能需要机器学习算法，那么你得根据业务建模，然后把多维度，大量的数据导入训练。简单如上，如果像进一步学习可以相互交流。