Java爬爬之网页去重和代理ip

Java爬爬之网页去重和代理ip
网页去重去重方案介绍SimHash流程介绍
签名距离计算导入simhash的工程测试simhash
代理的使用代理服务器使用代理

网页去重
之前我们对下载的url地址进行了去重操作，避免同样的url下载多次。其实不光url需要去重，我们对下载的内容也需要去重。
在网上我们可以找到许多内容相似的文章。但是实际我们只需要其中一个即可，同样的内容没有必要下载多次，那么如何进行去重就需要进行处理了

去重方案介绍
指纹码对比

最常见的去重方案是生成文档的指纹门。例如对一篇文章进行MD5加密生成一个字符串，我们可以认为这是文章的指纹码，再和其他的文章指纹码对比，一致则说明文章重复。 但是这种方式是完全一致则是重复的，如果文章只是多了几个标点符号，那仍旧被认为是重复的，这种方式并不合理。

BloomFilter

这种方式就是我们

Java爬爬之网页去重和代理ip最先出现在Python成神之路。