手记

Python爬虫实战-使用Scrapy框架爬取土巴兔(五)

上一篇文章Python爬虫实战-使用Scrapy框架爬取土巴兔(四)我们为爬虫工程定制了具体的爬取规则,那么接下来就要进一步处理爬取到的信息,并将它们持久化。


    该篇文章主要讲在Scrapy中运用Item Pipeline对Spider中收集到的Item进行具体的处理。

    一.下载图片

    在Spider收集到的Item对象中,我们可以拿到图片的URL。我们要做的就是对图片进行下载、保存。

    class DesignPicturePipeline(object):
        def __init__(self):        self.design_picture_service = DesignPictureService()    def process_item(self, item, spider):
            img_url = item['img_url']        #获取文件名
            img_name = ImageService.generate_name(img_url)        #获取文件路径
            file_path = ImageService.file_path(img_name)        #获取缩略图路径
            thumb_path = ImageService.thumb_path(img_name)        #下载图片并保存
            ImageService.download_img(img_url, file_path)        #保存缩略图
            ImageService.save_thumbnail(file_path, thumb_path)
            item['img_name'] = img_name        #保存到MongoDB
            self.design_picture_service.handle_item(item)

    下载图片时我们用到http请求库requests

    def download_img(img_url, file_path):
        proxies = None
        proxy = ''
        if config.USE_PROXY:
            proxy = proxy_pool.random_choice_proxy()
            proxies = {            'http': "http://%s" % proxy,
            }    try:
            response = requests.get(img_url, stream=True, proxies=proxies)        if response.status_code == 200:            with open(file_path, 'wb') as f:                for chunk in response.iter_content(1024):
                        f.write(chunk)        else:            if config.USE_PROXY:
                    proxy_pool.add_failed_time(proxy)    except:        if config.USE_PROXY:
                proxy_pool.add_failed_time(proxy)

    保存缩略图时使用了处理图片的开源库pillow,先对图片进行裁剪,然后保存到指定路径

    from PIL import Image
    
    IMAGE_SIZE = 500, 500def save_thumbnail(file_path, thumb_path):
        image = Image.open(file_path)    if thumb_path is not None:
            image.thumbnail(IMAGE_SIZE)
            image.save(thumb_path)    del image

    Scrapy也提供了ImagesPipeline来对图片进行下载及裁剪。但如果我们需要高度定制还是需要自己完成下载图片的逻辑代码。

    二.保存数据

    TABLE_NAME = "design_picture"def handle_item(self, design_picture_item: DesignPictureItem):    #设置埋点,判断是否为重复的URL
        if self.is_duplicate_url(design_picture_item['img_url']):        return
        #创建保存到数据库中的实体对象
        design_picture_model = self.get_design_picture_model(design_picture_item)    #保存到MongoDB
        try:
            collection = Collection(mongodb, TABLE_NAME)
            collection.insert_one(item.__dict__)
        except Exception as e:
            log.error(e)

    保存在MongoDB中的数据格式:

    {    "_id" : ObjectId("58cbd1f8ca6e1d0be0b1f329"),    "img_height" : "458",    "img_url" : "http://pic.to8to.com/case/1702/13/20170213_57a89af924138e15ab34ftkozxmlx8li.jpg",    "description" : "北欧风慵懒休闲感一居室图片",    "html_url" : "http://xiaoguotu.to8to.com/getxgtjson.php?a2=0&a12=&a11=10043653&a1=0",    "id" : "91de71b0-0b0a-11e7-9909-94de802721e7",    "create_time" : "2017-03-17T12:09:28.294Z",    "img_name" : "/tubatu/2017-03-17/41ec3e630289177dda3a91ad89a1ba72",    "sub_title" : "北欧风慵懒休闲感一居室图片",    "title" : "北欧风慵懒休闲感一居室图片",    "tags" : [ 
            "北欧", 
            "一居"
        ],    "img_width" : "780",    "fid" : "8a42487a-0b0a-11e7-9f80-94de802721e7"}

    三.启动Scrapy

    Scrapy提供了Shell命令来启动爬虫但是如果需求不同,需要自定义逻辑还是在python文件中启动。
    为了保证爬虫的长时间工作,需要开启定时任务检查爬虫是否在运行状态,如果爬取已经结束了则重新开始。

    import osimport sysimport threadingimport timefrom os.path import dirnamefrom schedule import Schedulerfrom twisted.internet import reactorfrom tubatu import config#需要引用外层文件夹中文件,将工程中的所有文件夹加入环境变量中path = dirname(os.path.abspath(os.path.dirname(__file__)))
    sys.path.append(path)class Runner(object):
        def __init__(self):
            self.is_running = False
            #将引擎关闭的回调与自定义关闭爬虫方法绑定
            dispatcher.connect(self.pause_crawler, signals.engine_stopped)        #获取settings.py中配置
            self.setting = get_project_settings()
            self.process = None
    
        def start_scrapy(self):
            #创建爬虫进程
            self.process = CrawlerProcess(self.setting)
            self.crawl()
            reactor.run()    def pause_crawler(self):
            self.is_running = False
            print("============ 爬虫已停止 ===================")    
        #启动爬虫
        def crawl(self):
            self.is_running = True
            self.process.crawl(DesignPictureSpider())        
        
        #启动IP代理池
        def start_proxy_pool(self):
            from msic.proxy.proxy_pool import proxy_pool        if config.USE_PROXY:
                proxy_pool.start()        else:
                proxy_pool.drop_proxy()    def run(self):
            self.start_proxy_pool()
            self.start_scrapy()if __name__ == '__main__':
        runner = Runner()    def thread_task():
            def task():
                if not runner.is_running:
                    print("============ 开始重新爬取 ===================")
                    runner.crawl()        
            #创建定时任务,没过30分钟检查爬虫是否关闭了,如果关闭了重新启动
            schedule = Scheduler()
            schedule.every(30).minutes.do(task)        while True:
                schedule.run_pending()
                time.sleep(1)
    
    
        thread = threading.Thread(target=thread_task)
        thread.start()
    
        runner.run()

    最后

    至此,Python爬虫实战-使用Scrapy框架爬取土巴兔教程已经全部结束。感谢读者的阅读,文章希望能帮到大家。

    附:

    详细的项目工程在Github中,如果觉得还不错的话记得Star哦。

    作者:imflyn
    链接:https://www.jianshu.com/p/6345dbb1ad41


    0人推荐
    随时随地看视频
    慕课网APP