使用tornado 这种异步请求框架做爬虫，效率高么

Answer 1

同时在get或者post方法处理上应用@tornado.web.asynchronous和@tornado.gen.engine装饰器，可以非常方便的和有callback参数的异步方法配合实现非阻塞请求处理。这里不想说官方的那个例子，因为官方的例子给的本来就是用异步的http客户端来拉取数据然后自己转到回调函数执行，讨论http客户端的代码不在本文范围内。于是我用一个简单的函数来演示，且这样更能说明问题。class RegisterHandler(basehandler.BaseHandler): @tornado.web.asynchronous @tornado.gen.engine def get(self, *arg, **args): response = yield tornado.gen.Task(self.method_while) print "response",response self.finish()