用 Scrapy 抓取时可以设置条件吗？

Question

我想知道是否可以设置一些必须满足的条件才能存储信息（使用 Scrapy 版本 1.7.3 进行网络抓取）。

例如，只存储评分大于 7 的电影，同时抓取 IMDB 的网站。

或者在查看输出文件时我是否必须手动执行？（我目前正在将数据输出为 CSV 文件）

Answer 1

这是一个有趣的问题，是的，scrapy完全可以帮助您解决这个问题。您可以采取一些方法，如果仅用于在实际“返回”它们之前操作项目（这意味着它已经是一个输出），也许我会建议使用项目加载器，它基本上可以帮助您为每个项目的每个字段设置规则.对于实际删除具有相应规则的项目，我建议您在再次返回项目之前使用用作最终过滤器的项目管道，在这种情况下，将它与帮助您定义的Cerberus之类的东西结合起来会很有趣整个项目模式，并据此删除或返回项目。