猿问

你好,关于scrapy异步爬虫运行正常为什么没有将数据存储到mysql中去?

scrapy异步爬虫运行正常为什么没有将数据存储到mysql中去


侃侃无极
浏览 1462回答 3
3回答

拉丁的传说

问题:因为用的scrapy-redis 分布式爬 那 爬的数据 不应该都存到同一个mysql下吗要怎么远程连接mysql呢?如果不需要存到同一个mysql下,那应该是个什么原因呢?解答:可以存在同一个mysql也可以存在不同的mysql,主要看你的需求是怎样的,一般情况下,存在一个mysql就足够了不管你的程序是在本地还是线上,只要你知道连接mysql的参数就可以连接上。连接的参数包括服务器IP,端口号,用户,密码,此外,服务器可能还配置了另外的限制条件,比如说限制远程连接的IP,如果你的本地IP不在连接白名单里面,那么你就算知道上述信息也是无法连接的。具体连接mysql方式根据不同语言而定。不存在同一个mysql的原因,可能会考虑到数据备份,也可能考虑到连接速度(如果在这方面有很高要求的话,会选择最近的服务器上的数据库进行存储)
随时随地看视频慕课网APP
我要回答