如何定时爬虫

来源:6-1 爬虫注意事项

qq__2824

2016-08-24 23:24

请问怎么定时爬虫

写回答 关注

4回答

  • 秋名山车神
    2016-08-25 08:50:20

    最简单的方式就是使用while True 来无限循环 循环开始的时候检查一下当前时间和设定的时间是否符合  如果符合就运行爬虫  如果不符合就不运行 同时为了性能考虑 可以设定每隔一分钟检查一次 使用sleep方法就可以做到

    秋名山车神

    可以自己写一下试试,当然实际情况可能还要考虑其他的一些因素,比如说要记录下来当前爬到了哪里,以便下一次继续从这里开始,从而避免了重复前面任务。还可以设定停止时间,当前时间需要满足开始时间和停止时间的范围才会执行爬取的方法。

    2016-08-25 08:55:49

    共 1 条回复 >

  • 喜欢学习的
    2018-10-24 14:59:59

    使用crontab

  • qq__2824
    2016-10-02 15:04:08

    使用window系统的服务定时即可。谢谢各位

  • hldh214
    2016-08-25 07:47:25

    首先推荐在 *NIX 环境部署 Python 爬虫

    使用 crontab 即可完成定时任务功能

    多收能量多种...

    慕课网也有crontab相关的课程哟~ http://www.imooc.com/learn/216

    2017-02-16 19:05:23

    共 1 条回复 >

python遇见数据采集

本教程让你初步掌握Python进行数据采集,创造属于你的价值

59669 学习 · 200 问题

查看课程

相似问题