递进式网页库去重系统及其实现方法专利登记公告

专利名称：递进式网页库去重系统及其实现方法

摘要：本发明公开了一种递进式网页库去重系统及其实现方法，从互联网上抓取的网页库，采用分周期的方式经比较、判断后有选择地导入到外部网页库中。每次只需要考察新抓取网页与已有的内部、外部网页的重复。本发明所述方法能够保证外部网页库中所有资源两两之间不存在任何重复。并且该方法使得去重操作的运算开销能按时间平均分摊，即每次只处理一个周期内的少量新增的网页，能够使系统流畅的运转，完成网页库的去重操作。

专利类型：发明专利

专利号：CN201010576731.2

专利申请（专利权）人：盛乐信息技术（上海）有限公司

专利发明（设计）人：陈运文

主权项：一种递进式网页库去重系统，其特征是，包括：网页抓取模块，该模块将互联网上的网页抓取并下载；结构化特征提取模块，该模块对网页抓取模块所抓取的每个网页进行解析，提取出多个特征字段；所述递进式网页库包括内部网页库和外部网页库；所述内部网页库为本网站内部网页所形成的网页库；所述外部网页库为网页抓取模块从除本网站以外的互联网抓取的网页所形成的网页库。

专利地区：上海