做文本挖掘是否需要了解自然语言处理？

Question

做文本挖掘是否需要了解自然语言处理？

Answer 1

当然需要。既然是“文本挖掘”，自然语言处理最基本的功能点肯定都要做：新词发现、分词、词性标注、分类、自动提取标签、实体自动发现和识别。最基本的这些功能点做了之后，可以用统计方法完成简单文本挖掘应用，统计方法比如：TF/IDF、Map/Reduce、贝叶斯。再深入一些，就需要：聚类（层次聚类、SVM、VSM）、情感趋势分析。再想提高：语法分析、句式判断。但一般做到NLP最基本功能点+统计方法即可搞定一般的互联网应用。