我自己开发的框架里面 如何多个爬虫并行？

Question

比如我自己写的有A B C 三个爬虫 如何三个爬虫并行？是一个函数里面三个爬虫执行吗？通过多线程调用这个函数？

Answer 1

使用多线程方式调用你的爬虫启动函数， 不过首先你要保证你的爬虫是线程安全的。最简单的基本写法如下：import thread# 你的爬虫函数def crawler(param1, param2, param3):     pass# 启动两个线程调用爬虫函数并传参try:     thread.start_new_thread(crawler, (arg1, arg2, arg3))     thread.start_new_thread(crawler, (_arg1, _arg2, _arg3))except:     print("something wrong")