所以,除了修剪功能,一切都很好。我不知道它是否有效。
实际上我正在使用 ArrayList 制作倒排索引。从文件中获取行,拆分成单词(标记化)并删除标点符号。当我谈到删除停用词的部分时,它与文件中提供的停用词不匹配。我认为这是因为 ArrayList 的每个索引的前导空间。
停用词列表:
a, is, the, of, all, and, to, can, be, as, once, for, at, am, are, has, have, had, up, his, her, in, on, no, we, do
我的策略:
String [] TempArray = new String[word.size()];
for (int i = 0; i < word.size(); i++) {
word.set(i, word.get(i).toLowerCase());
word.set(i, word.get(i).replaceAll("[^a-zA-Z]", ""));
}
for (int i = 0; i < word.size(); i++) {
TempArray[i] = word.get(i);
TempArray[i] = TempArray[i].trim();
word.set(i, TempArray[i]);
System.out.println(word.get(i));
}
输出:
[a, blunder, by, anton, chekhov, , an, illustration, for, the, story, a, blunder, by, the, author, anton, chekhov, portrait, of, ivan, lazhechnikov...]
任何形式的建议将不胜感激!
繁华开满天机
拉风的咖菲猫
相关分类