北京邮电大学博士学位论文摘要
WEB文本挖掘中关键问题的研究
摘要
随着互联网和通讯网的迅猛发展,网络文本成为信息的主要载体及人们生活中不可或缺的主要信息来源,文本挖掘技术的研究意义和实用价值越来越突出。另一方面,随着Wreb2.O时代的到来,出现了越来越多的由用户创作的网络数字内容。用户数字内容的大量产生和传播使得短文本计算、W-eb文本信息抽取、文本情感分析等逐渐成为W-eb文本挖掘研究的热点问题。针对这些问题,本文进行了以下研究:
(1)基于统计语言模型的短文本计算。针对短文本包含字符少、文本语言不规范、文本数量巨大的特点,本文提出了一种基于N.gram的特征提取和RPCL(mvalPenalizedCompetitiveLe锄ing)的短文本聚类算法。首先进行基于字符级的N.龋咖特征提取,即从未分词的语料中抽取中文块。中文块可以是一个汉字、一个词或者字符串,这样,中文块不但可以表达短文本的语义信息,而且能够保留语序结构和字符之间的依赖。然后通过统计子串约减和互信息过滤得到候选中文块集合。最后,使用一种神经网络聚类算法IoCL对短文本进行聚类。实验结果表明,这种基于N.gram的特征提取和RPCL的短文本聚类算法能够有效的对短文本聚类,并能有效的降低特征的维度。
(2)面向广告推荐和情感分析的W曲文本信息抽取。针对广告推荐中的复合词抽取问题,本文提出了基于隐马尔科夫模型的半监督中文复合词抽取算法。从少量种子复合词出发,通过设定一个BEMI(Begin,End,Middle,Ind印endent)模板,使用隐马尔科夫模型识别与种子复合词具有相同或相似信息的复合词。算法采用Bootstrapping的学习方法,通过自学习不断增大复合词列表的规模。实验结果表明,本算法可以满足广告系统关键词推荐的信息抽取需求,并具有较高的准确率和可以接受的召回率。
针对文本分析问题中情感词抽取的问题,本文提出了基于最大熵和LMR(LelfI,Middle,Right)模板的中文情感词抽取算法。通过对文本设定一个滑动窗口,使用LMR模板标记词的位置信息,使用词、词的先后位置
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击此处进行反馈。 加入会员!获取文档下载券 WEB文本挖掘中关键问题的研究 文本挖掘,数据...
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击此处进行反馈。 加入会员!获取文档下载券 WEB文本挖掘的研究 文章首先探讨了Web挖掘的...
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击此处进行反馈。 加入会员!获取文档下载券 WEB文本挖掘中关键问题的研究[1] 文本挖掘...
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击...基于Web的文本挖掘的研究 基于web的文本挖掘是文本挖掘的一个重要的组成部分,本...
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击...基于Web的文本挖掘研究 基于Web的文本挖掘是数据挖掘的重要组成部分,文章重点对...
文本分类技术是Web文本挖掘中一项最重要的技术,随着中文网页数量的急 剧增加,...目前对此问题的研究较少,普遍 采用的方法是首先设定一个固定阀值,然后分别计算待...
因此 , 要想对 集成问题 。 2 Web 文本挖掘的定义 自然语言处理 、 数据...文本挖掘的关键技术 .1 4 文本特征表示 文本特征指的是代表 Web 文本的元数 ...
Web 文本挖掘的相关问题进行分析, 就 在分析 web 挖掘和其研究方向的基础上, 重点对于 web 文本挖掘进行探讨。 〔关键词〕 web 挖掘; Web 文本挖掘; 文本分类...
基于Web的文本挖掘是数据挖掘的重要组成部分,探讨了Web文本特征提取、文本分类、文本聚类等Web文本挖掘关键实现技术,最后讨论了Web文本挖掘的价值及其对Web发展的重要性...
Web文本挖掘技术是解决上述问题的一一种方法。Web 文本挖掘借鉴数据挖掘的基本思想和理论方法,从大量非结构化、异构的 Web文档的集合中发现有效的、新颖的、潜在可用...
热门文档