一种网页去重的方法专利登记公告

专利名称：一种网页去重的方法

摘要：本发明公开了一种网页去重的方法，首先提取网页正文信息，对网页正文信息进行分词处理，对分词处理结果进行统计，并按照词频排序，将词频超过预设值的词选取出来，作为特征词结果串，对特征词结果串进行MD5运算，作为网页的唯一特征值，将特征词结果串的MD5值与特征串去重判别系统中的所有网页的特征词结果串的MD5值进行比对，如果相同，则去重，如果没有相同的，则将该网页的特征词结果串的MD5值存储到特征串去重判别系统。采用了本发明的技术方案，能够有效地去除现有系统的转载网页、重复网页和镜像网页。

专利类型：发明专利

专利号：CN201210114263.6

专利申请（专利权）人：北京十分科技有限公司

专利发明（设计）人：李鹏

主权项：一种网页去重的方法，其特征在于，包括以下步骤：A、提取网页正文信息；B、对所述网页正文信息进行分词处理；C、对分词处理结果进行统计，并按照词频排序；D、将词频超过预设值的词选取出来，作为特征词结果串；E、对所述特征词结果串进行MD5运算，作为所述网页的唯一特征值；F、将所述特征词结果串的MD5值与特征串去重判别系统中的所有网页的特征词结果串的MD5值进行比对，如果相同，则去重，如果没有相同的，则将所述网页的特征词结果串的MD5值存储到所述特征串去重判别系统。

专利地区：北京