猿问

我自己开发的框架里面 如何多个爬虫并行?

比如我自己写的有A B C 三个爬虫 如何三个爬虫并行?是一个函数里面三个爬虫执行吗?通过多线程调用这个函数?

牧羊人nacy
浏览 776回答 1
1回答

烙印99

使用多线程方式调用你的爬虫启动函数, 不过首先你要保证你的爬虫是线程安全的。最简单的基本写法如下:import thread# 你的爬虫函数def crawler(param1, param2, param3):     pass# 启动两个线程调用爬虫函数并传参try:     thread.start_new_thread(crawler, (arg1, arg2, arg3))     thread.start_new_thread(crawler, (_arg1, _arg2, _arg3))except:     print("something wrong")
随时随地看视频慕课网APP

相关分类

Python
我要回答