维、哈、柯多文种搜索引擎中网页爬行器(Crawler)的设计与实现Design and Implementation of Crawler of Uyghur,Kazak,Kyrgyz Multi-lingual Search Engine
吐尔洪·吾司曼,维尼拉·木沙江
摘要(Abstract):
搜索引擎网页爬行器的任务是收集网页,而收集能力的好坏直接影响搜索结果.本文提出了维、哈、柯多文种搜索引擎中网页爬行器的结构及其设计方案.
关键词(KeyWords): 网页爬行器;搜索引擎;网页相似度比较
基金项目(Foundation): 新疆维吾尔自治区高技术研究与发展计划项目(项目编号:200612115)
作者(Author): 吐尔洪·吾司曼,维尼拉·木沙江
参考文献(References):
- [1]杜亚军,严兵,宋亮,等.爬行虫算法设计与程序实现[J].计算机应用,2004,1:33-35.
- [2]叶允明,于水,马范援,等.分布式Web Crawler的研究:结构、算法和策略[J].电子学报,2002,12A,2008-2011.
- [3]张秋惠,谢延华,等.一种主题型Web爬行器的设计和实现[J].漯河职业技术学院学报(综合版).2006,5(3):21-22.
- [4]汪晓平,钟军,等.Visual C++网络通信协议分析与应用实现[M].人民邮电出版社,2003,42.
- [5]吴鹏飞,孟祥增,刘俊晓,等.基于结构与内容的网页主题信息提取研究[J].山东大学学报(理学版),2006,41(3):131-134.
- [6]亚森·艾则孜,王斌君.计算机取证中维文信息代码的分析方法研究[J].中国人民公安大学学报(自然科学版),2007,52:68-72.
- [7]Broder A,Mitzenmacher M.Network Applications of Bloom Filters:ASurvey.Internet Mathematics[J].2003,1(4):485-509.