多个spider使用一个pipeline爬数据到同一个数据库表，发现数据被覆盖了

Question

多个不同spider使用一个pipeline爬数据到同一个数据库表，发现数据被覆盖了

Answer 1

你这个是写入还是修改？如果是写入的话，记得写入之后就进行数据库事务提交。从你这里的描述明显的感觉到是因为数据写入过程中没有做事务提交，最后某个爬虫写完了之后再做事务提交造成的，当然你这里也没有代码也看不出啥。