对置信度阈值以上的 NLP 解决方案进行分类

Question

我有all_data包含两列的数据框：Event_Summary: 这是事件的文本描述，Impact哪个是分类。我使用了 SVM 来自动分类这些数据 - 请参阅下面的代码：

train, test = train_test_split(all_data, test_size=0.2)

count_vect = CountVectorizer(stop_words='english', analyzer = "word")

X_train_counts = count_vect.fit_transform(train.Event_Summary)

tf_transformer = TfidfTransformer(use_idf=False).fit(X_train_counts)

X_train_tf = tf_transformer.transform(X_train_counts)

y_train = train["Impact"]

y_test = test["Impact"]

X_test_counts = count_vect.transform(test.Event_Summary)

tf_transformer = TfidfTransformer(use_idf=False).fit(X_test_counts)

X_test_tf = tf_transformer.transform(X_test_counts)

parameters = {'kernel':('linear', 'rbf'), 'C':[1, 10]}

svc = svm.SVC(gamma="scale")

clf = GridSearchCV(svc, parameters, cv=5)

clf.fit(X_train_tf, y_train)

pred = clf.predict(X_test_tf)

score = np.mean(pred == y_test)*100

分数大约为 70%，考虑到只有两个类别，这是相当低的。由于这个低分，我只想在算法高于某个置信度阈值时才对描述进行分类，这是正确的分类（将不确定的留给我手动填写）。

这是否可以使用 python / sklearn 进行，如果可以，是否有人对如何执行此操作有建议？另外，如果有人建议我如何使我的模型更准确？

Answer 1

除非您运行分类器，否则您不会知道置信度分数是多少。所以你可以运行分类器，查看分数，然后决定哪些会被自动接受，哪些会通过人工审核。关于如何提高准确性的第二个问题，您可以做几件事。尝试使用更复杂的技术（如词嵌入）来矢量化您的数据。你肯定会看到更好的结果。尝试使用不同的分类器，看看哪一个能给你最好的结果。此外，可能会查看predict_proba功能以获得信心。