如何使用 Python 多处理和 YouTube API 进行抓取

Question

我仍然是 python 的新手，现在使用多处理对我来说是一项大工作。

所以我的问题是，如何在使用多处理的同时使用 YouTube API 加速抓取 YouTube 的评论部分？

这个项目是在有限的时间内抓取几条 100000++ 的视频供他们评论。我知道在 BeautifulSoup/Scrapy 等普通抓取方法上使用了多处理，但是当我使用 YouTube API 时呢？

如果我使用 YouTube API（需要 API 密钥）来抓取数据，多处理是否能够使用多个密钥来完成这项工作，还是会一遍又一遍地使用同一个密钥来完成不同的任务？

为简化起见，是否可以在代码中使用使用 API 密钥的多处理，而不是不需要 API 密钥的常规抓取方法？

有人知道吗？

Answer 1

这不会直接回答您的问题，但我建议您查看 YouTube API 配额：https://developers.google.com/youtube/v3/getting-started#calculating-quota-usage默认情况下，您的项目每天的配额仅为 10,000 个单位，检索评论的费用为每条评论 1 到 5 个单位（如果您想要附加的视频数据，则每个视频再添加 21 个单位）。实际上，您每天只能通过 API 检索 2000 条评论，而无需提出配额增加请求，这可能需要数周时间。编辑：Google 将使用您为给定请求选择的语言为您填充代码。我建议在此处填写您的请求表单，并以此为起点：https ://developers.google.com/youtube/v3/docs/comments/list （单击“Populate APIs Explorer”->“See代码示例”-> 在左侧输入更多信息）