标点符号删除之前/之后的POS标记？

Question

关于 NLP 最佳实践的一个可能非常基本的问题。

标点符号会影响 NLTK 的词性标注器的行为吗？或者在将句子传递给 POS 标记器之前从句子中删除标点符号是否可以？

Answer 1

通常，标点符号在 POS 标记之前与单词标记分开。标点符号有其自己的正字法作用，与周围的词标记不同。例如，标记这个句子：名词动词。For       PREPexample   N,         ,tokenize  Vthis      PRONsentence  N:         :Noun      Nverbs     V.         .是否在这个阶段保留标点符号取决于您的最终目标。对于语法标记，标点符号确实具有语法作用，删除它通常会降低分析的质量。对于情感分析，标点符号通常不会产生任何极性（尽管大量的刘海可能会传达出强调或强烈的极性！！！！！！！）