自然语言处理中的term token是什么概念？

Question

自然语言处理中的term token是什么概念

Answer 1

我们讲语义就是是什么、意思、意义。但有个问题，我们讲的意义都来自我们的感觉，但计算机只有传感器，所以让计算机直接理解意义既没必要也没办法。既然计算机没办法从根本上理解每句话的意思，那语义分析其实就是从语句中抽取有效的知识