继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

【学习打卡】第8天 Scrapy打造搜索引擎 items的定义和使用

残梦ming
关注TA
已关注
手记 26
粉丝 2
获赞 0

课程名称:Scrapy打造搜索引擎(分布式爬虫)


课程章节:items的定义和使用


主讲老师:bobby


课程内容:

今天学习的内容包括:items的定义和使用


课程收获:

        

1.Item创建

    1.Item作用

    1. 提供了额外的保护机制来避免拼写错误导致的未定义字段错误

    2. 可以更为方便的操作和保存item中的数据,以及满足scrapy其他相关功能的支持

 

2.代码

        

import scrapy


class ArticleSpiderItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    pass


class JobBoleArticleItem(scrapy.Item):
    title = scrapy.Field()
    create_date = scrapy.Field()
    url = scrapy.Field()
    url_object_id = scrapy.Field()  # 网页URL不定长,则通过MD5生成id,使得URL地址存储为定长字符
    front_image_url = scrapy.Field()
    front_image_path = scrapy.Field()  # 保存图片本地地址
    praise_nums = scrapy.Field()
    comment_nums = scrapy.Field()
    view_nums = scrapy.Field()
    tags = scrapy.Field()
    content = scrapy.Field()


3.jobbole.py中使用自定义的Item

      1.代码截图

            http://img4.mukewang.com/62f5ab8f000159de15950724.jpg

            http://img1.mukewang.com/62f5ab980001bdfb14741013.jpg


    2.查看Item对象的值

        http://img3.mukewang.com/62f5abbb0001f60022891281.jpg



4.yield Item——Scrapy自动将Item交给对应的Pipeline进行数据处理和保存

        http://img4.mukewang.com/62f5abd60001f00724001288.jpg

打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP