DeepWeb下基于中文分词的聚类算法

1382011，47（4）ComputerEngineeringandApplications计算机工程与应用

DeepWeb下基于中文分词的聚类算法

2

刘荣辉1，，郑建国1

2

LIURonghui1，，ZHENGJianguo1

1.东华大学管理学院，上海200051

2.河南城建学院计算机科学与工程系，河南平顶山467044

1.SchoolofManagement，DonghuaUniversity，Shanghai200051，China

2.DepartmentofComputerScienceandEngineering，HenanUniversityofUrbanConstruction，Pingdingshan，Henan467044，ChinaLIURonghui，ZHENGJianguo.ClusteringalgorithminDeepWebbasedonChinesewordsegmentation.ComputerEngi-neeringandApplications，2011，47（4）：138-140.

Abstract：WiththerapiddevelopmentofDeepWeb，itisespeciallyimportanttoextractqualitydataandprocessthemfromWebdatabasebyqueryinterfaceone-businesssites.Inthispaper，searchedpagesareobtainedtomakeuseofqueryinter-facebydynamicallysubmittingkeywords.Chineseiteminformationisextractedfromsearchedpagesandsegmented.Theseg-mentationresultisanalyzedstatisticallytoreducedimensionalitybasedonDFtogetfeatureitems.TF/IDFisusedtocalcu-latetheweightvectormatrixgettingthefeatureitemweightvectormatrix.Weightvectormatrixispresentedtoclusterthesearcheddatum.Theexperimentresultsshowthecorrectnessandfeasibilityofthisalgorithm.

Keywords：DeepWeb；dataextraction；Chinesewordsegmentation；TermFrenquency/InverseDocumentFrequency（TF/IDF）；clustering摘

要：随着DeepWeb飞速的发展，使用商业网站上所提供的查询接口从Web数据库中获取高质量数据并对这些数据进行分析

加工处理显得尤为重要。通过动态提交关键词，利用查询接口得到检索页面，对检索页面中的中文信息进行抽取并进行分词处理，对分词的结果进行统计分析，通过引入DF进行降维得到特征项，使用TF/IDF计算得到特征项的权重向量矩阵，对权重矩阵进行聚类从而实现文档的分类。通过仿真实验检验了算法的合理性和可行性。关键词：DeepWeb；数据抽取；中文分词；TF/IDF；聚类DOI：10.3778/j.issn.1002-8331.2011.04.038

文章编号：1002-8331（2011）04-0138-03

文献标识码：A

中图分类号：TP391

1引言

如今对于Web的利用越来越多是通过一些商业网站上提

相关度，而不同类中的事物之间差别较大；聚类真正体现了“物以类聚”的分类思想。而在DeepWeb上聚类可以就不同商业网站上的同类产品进行分组，同时可以对商业网站上相关的产品进行分析和汇总，也可以给搜索引擎提供支持。

提出了一个在DeepWeb下基于中文分词的聚类算法，可以对中文商业网站上的产品主题进行聚类，此方法简称DWC-WSC（DeepWebChineseWordSegmentationClustering），通过实验检验其拥有较好的聚类效果。

供的Web查询接口进行查询获取有用的信息。中国互联网络信息中心[1]显示中文在线数据库数量在2005年达到30余万，截至2010年其数量可能达到60万以上。如何从这些查询接口中获取数据就变得越来越重要。DeepWeb、HiddenWeb和InvisibleWeb均指同一个概念，它是与SurfaceWeb相对应的概念，最初由Dr.JillEllsworth于1994年提出。DeepWeb的数据信息隐藏在Web查询界面的后面，查询界面是其唯一入口，用户只有通过查询界面，动态提交查询请求才能得到相应的查询结果，其特殊性在于查询的结果通常都是采用统一模版显示的，而查询得到的文本页、文件或其他通常是高质量、权威的信息。

聚类是指根据一定规则，按照事物某些属性，合理地划分给定的未分类事物集合，得到确定的事物分类的过程。通过聚类得到事物类，同一类中的事物之间具有较高的相似度或

2Web中常用聚类算法

文献[2]首先提出了STC算法，该算法是基于Web搜索结果的聚类系统，它采用后缀树聚类算法，Web搜索结果被表示成树结点。并且将它运用到Web搜索结果的聚类中取得了较好的结果，并且也利用用户体验对它进行评价。典型的概念聚类方法有LINGO[3-4]，它首先从返回结果中确定概念文档，用出现最频繁的特征词作为类标记，把类标记相似的文档聚合

基金项目：河南省2009科技发展计划项目（重点项目）基金（No.092102210251）。

作者简介：刘荣辉（1972—），男，博士生，主要研究方向：数据挖掘、智能决策与知识管理；郑建国（1962—），男，教授，博士生导师。

收稿日期：2009-05-18；修回日期：2009-07-06