文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > 基于nutch的专题网页资源采集服务系统的设计与实现
侵权投诉

基于nutch的专题网页资源采集服务系统的设计与实现

精品资料全集分享

《现代图书情报技术》版权所有,欢迎下载引用!

utch的专题网页资源采集服务系统的设计与实现[J],现代图书情报技术,2010(3):19-26.请注明引用地址:基于N

总第190期 2010年 第3期

基于Nutch的专题网页资源采集服务系统的

设计与实现

常智荣1 马自卫2 李高虎3

123

(北京邮电大学计算机学院 北京100876)(北京邮电大学图书馆 北京100876)

(北京邮电大学资产经营有限公司 北京100876)

【摘要】在数字图书馆系统集成应用的框架下,提出基于Nutch的专题网页资源采集服务系统设计方案。该方案引入信息过滤模块、基于计算机通信领域专业词典的中文分词模块、GUI信息定制模块、词典和关键词管理模块等,保证采集和获取过程中资源的专题性和系统的可管理性以及易用性。重点对文本解析过滤、Plugin插件开发以及搜索结果的层次化自动聚类等相关技术进行深入研究。通过基于Webservice的服务接口,实现其在数字图书馆资源层的集成应用。

【关键词】Nutch 网页资源采集 中文分词插件 Webservice 集成服务【分类号】G250

ResearchandImplementationofNutch-basedWebsiteHarvestandServiceSysteminSpecialField

123

ChangZhirong MaZiwei LiGaohu

1

(CollegeofComputer,BeijingUniversityofPostsandTelecommunications,Beijing100876,China)

2

(BeijingUniversityofPostandTelecommunicationLibrary,Beijing100876,China)

3

(BuptAssetsManagementCo.,Ltd,Beijing100876,China)

【Abstract】ThispaperproposesthedesignofNutch-basedWebsiteHarvestandServicesysteminSpecialfieldundertheframeworkofdigitallibrarysystemsintegration.Itintroducesinformationfilteringmodule,dictionary-basedChineseanalyzermodule,GUIinformationmodule,topic-knowledgebasedinformationprocessingmoduleaswellastheWebservice-basedsearchservicemodulestoimprovefunctionandperformanceofthesystem.Itfocusesontextparsingfilters,plugindevelopmentandapplicationsofthelevel-automaticclusteringofthesearchresults.Finally,integrationwithothersubsystemindigitallibraryisrealizedthroughtheWebservice-interface,whichcanprovidecomprehensiveandprofessionalservices.

【Keywords】Nutch Websiteharvest Chineseanalyzerplugin Webservice Integrationservices

1 引 言

  网页资源成为一种重要的学术资源形式,在数字图书馆的资源建设中日益受到重视,搭建能够对中文网络信息资源进行处理的网络信息资源采集与服务平台,是一项非常有意义的研究课题。常用的开源采集工具有

  收稿日期:2010-03-05

  收修改稿日期:2010-03-08

XIANDAITUSHUQINGBAOJISHU 

第1页

你可能喜欢

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email