那位大神能提供告诉下 10W数据 快速查询的算法谢谢

Question

那位大神能提供告诉下  10W数据 快速查询的算法谢谢

我自己在写一个网络蜘蛛玩  里边的URL去重  要是用常规方法 需要花很久的时间

我希望能以算法实现快速查找

 

希望路过的  都给吓意见吗  小弟在这里 谢谢啦

问题补充：

是关于网络蜘蛛不读取重复的URL问题    有好的建议或者好点的算法  可以发我的QQ邮箱：[e-mail]

Answer 1

你百度一下蚁群算法，先进行分词，再进行搜索，然后对结果进行筛选，还是比较麻烦的，我没弄过，只能给你思路，还得靠你自己摸索，祝你早日实现功能