手记

python爬虫小白学习笔记之数据存储(一)

(一)存储到mongodb:


    1.创建一个client对象,调用pymongo的MongoClient()方法,并传入数据库的url,使用client[db名]创建一个数据库db,


调用db[collection名],创建一个表coll,调用coll.insert(dict对象)插入数据。


# class MongoPipeline(object):

#     def __init__(self,mongo_url,mongo_db):

#         self.mongo_url = mongo_url

#         self.mongo_db = mongo_db

#     @classmethod

#     def from_crawler(cls,crawler):

#         return cls (

#             mongo_url=crawler.settings.get('MONGO_URL'),

#             mongo_db =crawler.settings.get('MONGO_DB')

#         )

#     def open_spider(self,spider):

#         self.clict = pymongo.MongoClient(self.mongo_url)

#         self.db  = self.clict[self.mongo_db]

#     def process_item(self,item,spider):

#         name = self.__class__.__name__

#         self.db[name].insert(dict(item))

#         return item

#     def close_spider(self,spider):

#         self.clict.close()




1人推荐
随时随地看视频
慕课网APP