你好，关于scrapy异步爬虫运行正常为什么没有将数据存储到mysql中去？

Question

scrapy异步爬虫运行正常为什么没有将数据存储到mysql中去

Answer 1

问题：因为用的scrapy-redis 分布式爬 那 爬的数据 不应该都存到同一个mysql下吗要怎么远程连接mysql呢？如果不需要存到同一个mysql下，那应该是个什么原因呢？解答：可以存在同一个mysql也可以存在不同的mysql，主要看你的需求是怎样的，一般情况下，存在一个mysql就足够了不管你的程序是在本地还是线上，只要你知道连接mysql的参数就可以连接上。连接的参数包括服务器IP,端口号,用户,密码,此外，服务器可能还配置了另外的限制条件，比如说限制远程连接的IP，如果你的本地IP不在连接白名单里面，那么你就算知道上述信息也是无法连接的。具体连接mysql方式根据不同语言而定。不存在同一个mysql的原因，可能会考虑到数据备份，也可能考虑到连接速度（如果在这方面有很高要求的话，会选择最近的服务器上的数据库进行存储）