来自 NLTK、Gensim、Scikit Learn 的 API 调用

Question

我计划使用 NLTK、Gensim 和 Scikit Learn 进行一些 NLP/文本挖掘。但我将使用这些库来处理我的组织数据。问题是在使用这些库时“他们是否会调用 API 来处理数据”，或者是从 python shell 中取出的数据进行处理。这是一个安全问题，所以想知道是否有人有任何文档可供参考。

Answer 1

通常使用 NLTK、gensim 和 scikit-learn，算法在其源代码中实现，并在您的数据上本地运行，而无需发送其他数据进行处理。我从未注意到这些软件包的任何文档/功能提到对远程/云服务的依赖，也没有看到用户讨论相同的问题。但是，它们都是大型库，具有许多我从未审查过的功能，并且许多贡献者添加了新选项。而且我不知道项目负责人是否明确承诺永远不依赖外部服务。因此，一个明确的、永久的答案可能是不可能的。如果您的项目需要考虑这种安全性，您应该仔细查看您正在使用的那些函数/类/方法的文档，甚至源代码。（这些项目都不会故意隐藏对外部服务的依赖。）您还可以在与外部服务联系的能力受防火墙限制的系统上开发、测试和部署代码，这样您就可以检测并阻止与外部机器的任何未公开或无意的通信。另请注意，这些库中的每一个都依赖于其他公共库。如果您的担忧还延伸到粗心或故意恶意插入私有数据泄露方法的可能性，您可能希望对这些库和它们引入的所有其他库进行更深入的分析。（仅仅信任顶级文档可能是不够的。）此外，这些库中的每一个都具有实用功能，可根据明确的用户需求下载示例数据集或共享的非代码资源（如停用词或词典列表）。使用此类功能不会将您的任何数据上传到其他地方，但可能会泄露您正在使用特定功能。上面提到的基于防火墙的方法可能会干扰此类下载步骤。在高度警惕/偏执的情况下，您可能需要特别注意此类额外下载方法的使用和行为，以确保它们没有做超出应有的更改本地环境或执行/替换其他库代码。最后，通过坚持使用广泛使用的包/功能，以及一些仍然持续可用的旧版本，您可能会受益于一点“社区保证”，即一个包的行为是易于理解的，没有令人惊讶的依赖关系或漏洞。也就是说，许多其他用户已经对这些代码路径给予了一些关注、分析和实际使用——因此任何问题都可能已经被发现、披露和修复。