webmagic 爬取多个网页，内容重复

Question

webmagic  爬取多个网页，内容重复 ，用什么代码可以防止。

if(page.getResultItems().get(page.getUrl().get())==null){
    page.putField(page.getUrl().get(),page.getUrl());
}