采集的数据插入数据库怎样避免重复数据？

Question

采集到的数据字段比较多，在插入mysql数据库之前要判断数据库里面是否有重复数据，多个字段一起重复才算是重复数据，也就是允许一些单个字段可以重复，这种怎么避免插入重复数据？
我之前的做法是把要比较的数据拼接在一起然后使用sha1一下，在插入数据库时候把这个值也插入数据库，以后每次插入数据之前判断数据库里sha1值是否重复，有重复就跳过此条数据。但是这种还是会有个别重复的，不知道什么原因。有没有更好的办法？

Answer 1

将多个字段的值进行字典排序sort()后再sha1就好了，这样比对就不会重复了

Answer 2

设置唯一键啊

Answer 3

对采集链接SHA1加密之后入库比对

Answer 4

设置唯一主键，然后过滤方法 加密的时候调用时间戳