预期的字符串或类似字节的对象错误

Question

 from nltk import word_tokenize, sent_tokenize

 text = data.loc[:, "text"]

 tokenizer = word_tokenize((text))

 print(tokenizer)

我正在尝试在数据集的特定列上执行单词标记器，并且我已经切出该列并将其传递到 word_tokenizer 对象中，但是当我尝试打印单词时，我得到“预期的字符串或类似字节的对象错误”。

Answer 1

让我们假设这个 dataframedata = pd.DataFrame({'text':['some thing', 'word', 'some more text']})然后当你运行你的脚本时，你应该得到一个错误，因为你传递的是一个系列而不是一个字符串......text = data.loc[:, "text"]tokenizer = word_tokenize(text)print(tokenizer)类型错误：预期的字符串或类似字节的对象word_tokenize 将接受字符串，这就是为什么word_tokenize('some text')会起作用。所以你需要遍历你的系列：text = data.loc[:, "text"]tokenizer = [word_tokenize(text[i]) for i in range(len(text))]print(tokenizer)[['some', 'thing'], ['word'], ['some', 'more', 'text']]如果您仍然遇到类型错误，那么很可能不是每个值data['text']都是字符串。现在让我们假设这个数据框：data = pd.DataFrame({'text':['some thing', 'word', 'some more text', 1]})这个数据帧进行列表解析会无法正常工作，因为你正在试图通过一个int在word_tokenize但是，如果您将所有内容更改为字符串，它应该可以工作：data = pd.DataFrame({'text':['some thing', 'word', 'some more text', 1]})data['text'] = data['text'].astype(str)text = data.loc[:, "text"]tokenizer = [word_tokenize(text[i]) for i in range(len(text))]print(tokenizer)[['some', 'thing'], ['word'], ['some', 'more', 'text'], ['1']]你检查你的类型 print([type(text[i]) for i in range(len(text))])