Python爬虫实战-使用Scrapy框架爬取土巴兔(五)

上一篇文章Python爬虫实战-使用Scrapy框架爬取土巴兔(四)我们为爬虫工程定制了具体的爬取规则，那么接下来就要进一步处理爬取到的信息，并将它们持久化。

---

该篇文章主要讲在Scrapy中运用Item Pipeline对Spider中收集到的Item进行具体的处理。

一.下载图片

在Spider收集到的Item对象中，我们可以拿到图片的URL。我们要做的就是对图片进行下载、保存。

class DesignPicturePipeline(object):
    def __init__(self):        self.design_picture_service = DesignPictureService()    def process_item(self, item, spider):
        img_url = item['img_url']        #获取文件名
        img_name = ImageService.generate_name(img_url)        #获取文件路径
        file_path = ImageService.file_path(img_name)        #获取缩略图路径
        thumb_path = ImageService.thumb_path(img_name)        #下载图片并保存
        ImageService.download_img(img_url, file_path)        #保存缩略图
        ImageService.save_thumbnail(file_path, thumb_path)
        item['img_name'] = img_name        #保存到MongoDB
        self.design_picture_service.handle_item(item)

下载图片时我们用到http请求库requests

def download_img(img_url, file_path):
    proxies = None
    proxy = ''
    if config.USE_PROXY:
        proxy = proxy_pool.random_choice_proxy()
        proxies = {            'http': "http://%s" % proxy,
        }    try:
        response = requests.get(img_url, stream=True, proxies=proxies)        if response.status_code == 200:            with open(file_path, 'wb') as f:                for chunk in response.iter_content(1024):
                    f.write(chunk)        else:            if config.USE_PROXY:
                proxy_pool.add_failed_time(proxy)    except:        if config.USE_PROXY:
            proxy_pool.add_failed_time(proxy)

保存缩略图时使用了处理图片的开源库pillow,先对图片进行裁剪，然后保存到指定路径

from PIL import Image

IMAGE_SIZE = 500, 500def save_thumbnail(file_path, thumb_path):
    image = Image.open(file_path)    if thumb_path is not None:
        image.thumbnail(IMAGE_SIZE)
        image.save(thumb_path)    del image

Scrapy也提供了ImagesPipeline来对图片进行下载及裁剪。但如果我们需要高度定制还是需要自己完成下载图片的逻辑代码。

二.保存数据

TABLE_NAME = "design_picture"def handle_item(self, design_picture_item: DesignPictureItem):    #设置埋点，判断是否为重复的URL
    if self.is_duplicate_url(design_picture_item['img_url']):        return
    #创建保存到数据库中的实体对象
    design_picture_model = self.get_design_picture_model(design_picture_item)    #保存到MongoDB
    try:
        collection = Collection(mongodb, TABLE_NAME)
        collection.insert_one(item.__dict__)
    except Exception as e:
        log.error(e)

保存在MongoDB中的数据格式：

{    "_id" : ObjectId("58cbd1f8ca6e1d0be0b1f329"),    "img_height" : "458",    "img_url" : "http://pic.to8to.com/case/1702/13/20170213_57a89af924138e15ab34ftkozxmlx8li.jpg",    "description" : "北欧风慵懒休闲感一居室图片",    "html_url" : "http://xiaoguotu.to8to.com/getxgtjson.php?a2=0&a12=&a11=10043653&a1=0",    "id" : "91de71b0-0b0a-11e7-9909-94de802721e7",    "create_time" : "2017-03-17T12:09:28.294Z",    "img_name" : "/tubatu/2017-03-17/41ec3e630289177dda3a91ad89a1ba72",    "sub_title" : "北欧风慵懒休闲感一居室图片",    "title" : "北欧风慵懒休闲感一居室图片",    "tags" : [ 
        "北欧", 
        "一居"
    ],    "img_width" : "780",    "fid" : "8a42487a-0b0a-11e7-9f80-94de802721e7"}

三.启动Scrapy

Scrapy提供了Shell命令来启动爬虫但是如果需求不同，需要自定义逻辑还是在python文件中启动。
为了保证爬虫的长时间工作，需要开启定时任务检查爬虫是否在运行状态，如果爬取已经结束了则重新开始。

import osimport sysimport threadingimport timefrom os.path import dirnamefrom schedule import Schedulerfrom twisted.internet import reactorfrom tubatu import config#需要引用外层文件夹中文件，将工程中的所有文件夹加入环境变量中path = dirname(os.path.abspath(os.path.dirname(__file__)))
sys.path.append(path)class Runner(object):
    def __init__(self):
        self.is_running = False
        #将引擎关闭的回调与自定义关闭爬虫方法绑定
        dispatcher.connect(self.pause_crawler, signals.engine_stopped)        #获取settings.py中配置
        self.setting = get_project_settings()
        self.process = None

    def start_scrapy(self):
        #创建爬虫进程
        self.process = CrawlerProcess(self.setting)
        self.crawl()
        reactor.run()    def pause_crawler(self):
        self.is_running = False
        print("============ 爬虫已停止 ===================")    
    #启动爬虫
    def crawl(self):
        self.is_running = True
        self.process.crawl(DesignPictureSpider())        
    
    #启动IP代理池
    def start_proxy_pool(self):
        from msic.proxy.proxy_pool import proxy_pool        if config.USE_PROXY:
            proxy_pool.start()        else:
            proxy_pool.drop_proxy()    def run(self):
        self.start_proxy_pool()
        self.start_scrapy()if __name__ == '__main__':
    runner = Runner()    def thread_task():
        def task():
            if not runner.is_running:
                print("============ 开始重新爬取 ===================")
                runner.crawl()        
        #创建定时任务，没过30分钟检查爬虫是否关闭了，如果关闭了重新启动
        schedule = Scheduler()
        schedule.every(30).minutes.do(task)        while True:
            schedule.run_pending()
            time.sleep(1)


    thread = threading.Thread(target=thread_task)
    thread.start()

    runner.run()

最后

至此，Python爬虫实战-使用Scrapy框架爬取土巴兔教程已经全部结束。感谢读者的阅读，文章希望能帮到大家。

附：

详细的项目工程在Github中，如果觉得还不错的话记得Star哦。

作者：imflyn
链接：https://www.jianshu.com/p/6345dbb1ad41