精品资料全集分享
《现代图书情报技术》版权所有,欢迎下载引用!
utch的专题网页资源采集服务系统的设计与实现[J],现代图书情报技术,2010(3):19-26.请注明引用地址:基于N
总第190期 2010年 第3期
基于Nutch的专题网页资源采集服务系统的
设计与实现
常智荣1 马自卫2 李高虎3
123
(北京邮电大学计算机学院 北京100876)(北京邮电大学图书馆 北京100876)
(北京邮电大学资产经营有限公司 北京100876)
【摘要】在数字图书馆系统集成应用的框架下,提出基于Nutch的专题网页资源采集服务系统设计方案。该方案引入信息过滤模块、基于计算机通信领域专业词典的中文分词模块、GUI信息定制模块、词典和关键词管理模块等,保证采集和获取过程中资源的专题性和系统的可管理性以及易用性。重点对文本解析过滤、Plugin插件开发以及搜索结果的层次化自动聚类等相关技术进行深入研究。通过基于Webservice的服务接口,实现其在数字图书馆资源层的集成应用。
【关键词】Nutch 网页资源采集 中文分词插件 Webservice 集成服务【分类号】G250
ResearchandImplementationofNutch-basedWebsiteHarvestandServiceSysteminSpecialField
123
ChangZhirong MaZiwei LiGaohu
1
(CollegeofComputer,BeijingUniversityofPostsandTelecommunications,Beijing100876,China)
2
(BeijingUniversityofPostandTelecommunicationLibrary,Beijing100876,China)
3
(BuptAssetsManagementCo.,Ltd,Beijing100876,China)
【Abstract】ThispaperproposesthedesignofNutch-basedWebsiteHarvestandServicesysteminSpecialfieldundertheframeworkofdigitallibrarysystemsintegration.Itintroducesinformationfilteringmodule,dictionary-basedChineseanalyzermodule,GUIinformationmodule,topic-knowledgebasedinformationprocessingmoduleaswellastheWebservice-basedsearchservicemodulestoimprovefunctionandperformanceofthesystem.Itfocusesontextparsingfilters,plugindevelopmentandapplicationsofthelevel-automaticclusteringofthesearchresults.Finally,integrationwithothersubsystemindigitallibraryisrealizedthroughtheWebservice-interface,whichcanprovidecomprehensiveandprofessionalservices.
【Keywords】Nutch Websiteharvest Chineseanalyzerplugin Webservice Integrationservices
1 引 言
网页资源成为一种重要的学术资源形式,在数字图书馆的资源建设中日益受到重视,搭建能够对中文网络信息资源进行处理的网络信息资源采集与服务平台,是一项非常有意义的研究课题。常用的开源采集工具有
收稿日期:2010-03-05
收修改稿日期:2010-03-08
XIANDAITUSHUQINGBAOJISHU
基于Nutch的专题网页资源采集服务系统的设计与实现_IT/计算机_专业资料。在数字图书馆系统集成应用的框架下,提出基于Nutch的专题网页资源采集服务系统设计方案。该方案...
基于Nutch的专题网页资源采集服务系统的设计与实现_管理学_高等教育_教育专区。基于Nutch的专题网页资源采集服务系统的设计与实现总第190期 2010年 第 3期 基于 ...
为了实现对Web上特定领域英文科技信息的采集,笔者对...3 Web网站定向采集系统整体设计尽管Nuteh具有较丰富的... 基于Nutch的专题网页资源... 8页 免费 Nutch二次...
刘兴邦, 基于 Nt 的物流信息平台网页资源定向采集系统 等: uhcdi.99.s.0512.0.71 o:O364in10- X210.1 ls 52 7 网络 与信息化 基于 Nucth的物流信息平...
基于Nutch的专题网页资源采... 8页 免费 Nutch构建主题搜索引擎的研... 9... 基本 实现了网站 科技信息定向采集系统, 为后续工作的开展提供了质量较高的处理...
基于nutch的专题网页资源采... 8页 免费 开放...越丰富,它需要高教智能的工具来完成信息资源的采集。介绍了智能让网页收集 工具系统的实现方{去,它把...
网络资源定题采集系统设计与实现_专业资料。针对中医药多媒体资源在网上的分布特点,采用链接类型过滤、链接内容过滤、网页内容过滤三层过滤和临时页面存储、目标页面...
基于Nutch的搜索引擎系统的设计与实现 姓名:赵永光 ...聚合了各网站的有限的信息资源成为大量优势资源,满足...从互联网上页面采集_分析原始网页并建立索引数据库一...
网络资源定题采集系统设计与实现_专业资料。针对中医药多媒体资源在网上的分布特点,采用链接类型过滤、链接内容过滤、网页内容过滤三层过滤和临时页面存储、目标页面...
基于Nutch的物流信息平台网页资源定向采集系统_专业资料。针对物流信息平台中信息资源采集系统建设的不足,提出建立基于Nutch的网页资源定向采集系统,并对中文分词、主题...
热门文档