烙印99
使用多线程方式调用你的爬虫启动函数, 不过首先你要保证你的爬虫是线程安全的。最简单的基本写法如下:import thread# 你的爬虫函数def crawler(param1, param2, param3):
pass# 启动两个线程调用爬虫函数并传参try:
thread.start_new_thread(crawler, (arg1, arg2, arg3))
thread.start_new_thread(crawler, (_arg1, _arg2, _arg3))except:
print("something wrong")