使用SQL确定文本字段的字数统计

Question

我最近一直在研究一些数据库搜索功能，希望获得一些信息，例如每个文档的平均单词数（例如数据库中的文本字段）。到目前为止，我发现的唯一内容（没有在DB外部进行选择的语言处理）是：

SELECT AVG(LENGTH(content) - LENGTH(REPLACE(content, ' ', '')) + 1)

FROM documents

这似乎可行*，但您还有其他建议吗？我目前使用的是MySQL 4（希望很快将其迁移至该应用程序的版本5），但也对通用解决方案感兴趣。

谢谢！

*我可以想象这是确定它的一种相当粗糙的方法，因为它也没有考虑内容等中的HTML。这个特定项目可以，但是还有更好的方法吗？

更新：定义“更好”的意思是：更准确，执行效率更高或更“正确”（易于维护，良好实践等）。对于我可用的内容，上面的查询足够快并且对于该项目来说是准确的，但是将来我可能需要类似的内容（所以我问）。

Answer 1

MySQL的文本处理功能不足以满足您的需求。存储功能是一个选项，但可能会很慢。在MySQL中处理数据的最佳选择是添加一个用户定义的函数。无论如何，如果要构建MySQL的较新版本，也可以添加一个native函数。“正确”的方法是在数据库外部处理数据，因为数据库用于存储而不是处理，并且任何繁重的处理都可能给DBMS带来过多的负担。此外，在MySQL之外计算字数使更改字数定义变得更加容易。更改文档时如何将单词计数存储在数据库中并进行更新？存储功能示例：DELIMITER $$CREATE FUNCTION wordcount(str LONGTEXT)&nbsp; &nbsp; &nbsp; &nbsp;RETURNS INT&nbsp; &nbsp; &nbsp; &nbsp;DETERMINISTIC&nbsp; &nbsp; &nbsp; &nbsp;SQL SECURITY INVOKER&nbsp; &nbsp; &nbsp; &nbsp;NO SQL&nbsp; BEGIN&nbsp; &nbsp; DECLARE wordCnt, idx, maxIdx INT DEFAULT 0;&nbsp; &nbsp; DECLARE currChar, prevChar BOOL DEFAULT 0;&nbsp; &nbsp; SET maxIdx=char_length(str);&nbsp; &nbsp; SET idx = 1;&nbsp; &nbsp; WHILE idx <= maxIdx DO&nbsp; &nbsp; &nbsp; &nbsp; SET currChar=SUBSTRING(str, idx, 1) RLIKE '[[:alnum:]]';&nbsp; &nbsp; &nbsp; &nbsp; IF NOT prevChar AND currChar THEN&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; SET wordCnt=wordCnt+1;&nbsp; &nbsp; &nbsp; &nbsp; END IF;&nbsp; &nbsp; &nbsp; &nbsp; SET prevChar=currChar;&nbsp; &nbsp; &nbsp; &nbsp; SET idx=idx+1;&nbsp; &nbsp; END WHILE;&nbsp; &nbsp; RETURN wordCnt;&nbsp; END$$DELIMITER ;

Answer 2

尽管速度略有降低，但速度要快得多。我发现它的计数为4％，对于“估计”方案来说还可以。SELECT&nbsp; &nbsp; ROUND (&nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; (&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; CHAR_LENGTH(content) - CHAR_LENGTH(REPLACE (content, " ", ""))&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; )&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; / CHAR_LENGTH(" ")&nbsp; &nbsp; &nbsp; &nbsp;&nbsp;&nbsp; &nbsp; ) AS count&nbsp; &nbsp;&nbsp;FROM documents