一种分布式网络爬虫系统中的URL去重方法专利登记公告

专利名称：一种分布式网络爬虫系统中的URL去重方法

摘要：本发明提供了一种分布式网络爬虫系统中的URL去重方法，通过引入虚拟爬行结点，实现了高效的任务划分策略，从而更好地适应分布式网络爬虫系统中实际爬行结点的动态变化，在任务划分策略基础上使用一种分布式的URL去重方式，从而避免实际爬行结点变化过程中造成的重复爬行。本发明在任务划分时变动规模小，能保证爬虫系统稳定持久运行，划分策略具有动态适应性，能实现实际爬行结点的负载均衡。采用多个布隆过滤器去重结构，减小了去重对内存大小的需求，可实现基于内存的快速去重，在需要时能高效转移和备份，防止由于去重信息缺失而造成爬虫系

专利类型：发明专利

专利号：CN201210090259.0

专利申请（专利权）人：华中科技大学

专利发明（设计）人：邹复好;凌贺飞;李平;刘学;邱荷花

主权项：一种分布式网络爬虫系统中的URL去重方法，其特征在于，包括以下步骤：(1)当前爬行结点根据初始URL任务集进入网络爬行状态，并获取待处理URL任务集；(2)判断待处理URL任务集是否为空，若为空则过程结束，否则进入步骤(3)；(3)从待处理URL任务集中获取URL任务；(4)对获取的URL任务进行哈希运算得到其对应的虚拟爬行结点号；(5)根据该虚拟爬行结点号，查找虚拟爬行结点与实际爬行结点的映射关系表，从而得到对应的实际爬行结点；(6)判断获取的URL任务是否属于当前爬行结点，如果是则进入步骤(9)，否则

专利地区：湖北