┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 装 ┊ ┊ ┊ ┊ ┊ 订 ┊ ┊ ┊ ┊ ┊ 线 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊
第12章 文本数据挖掘与Web挖掘技术
第1节 文本挖掘概述
1.1 文本挖掘的出现
在现实世界中,我们面对的数据大都是文本数据,这些数据是由各种数据源(如新闻文章、研究论文、书籍、数字图书馆、电子邮件和Web页面等)的大量文档组成。所以,随着文档信息量的飞速增长,文本数据的数据量也急剧地增长。
文本数据是所谓的半结构化数据(Semi-Structure Data),它既不是完全无结构的也不是完全结构化的。如,文档可能包含结构字段,比如:标题、作者、出版日期、长度、分类等,也可能包含大量的非结构化的文本,如摘要和内容。
文本挖掘(Text Mining),国外有人称之为文本数据挖掘(Text Data Mining)和文本分析(Text Analysis)。文本挖掘一词大约出现于1998年4月在欧洲举行的第十届机器学习会议上,组织者 Kodratoff明确地定义了文本挖掘的概念,并分清它与“信息检索”的不同点和共同点。Kodratoff认为,文本挖掘的目的是从文档集合中搜寻知识,并不试图改进自然语言理解,并不要求对自然语言的理解达到多高水平,而只是想利用该领域的成果,试图在一定的理解水平上尽可能多地提取知识。因此,文本挖掘需要数据挖掘、语言学、数据库以及文本标引和理解方面的专家参与。
我国于1998年在国家重点基础研究发展规划(“973计划”)首批实施项目中,包括了文本挖掘的内容。 1.2 文本挖掘的基本概念 1、概念
文本挖掘是一个从大量文本数据中提取以前未知的、可理解的、可操作的知识的过程。文本数据包括:技术报告、文档集、新闻、电子邮件、网页、用户手册等。
文本挖掘对单个文档或文档集(如,Web搜索中返回的结果集)进行分析,从中提取概念,并按照指定的方案组织、概括文档,发现文档集中重要的主题。它除了从文本中提取关键词外,还要提取事实、作者的意图、期望和主张等。这
数据挖掘与知识发现(讲稿9... 12页 1财富值 数据挖掘与知识发现(讲稿5......数据集类型有:关系数据库、面向对象数据库、空 间数据库、 时态数据库、 文本...
数据挖掘与知识发现(讲稿... 12页 1下载券数据挖掘与...第2 章 知识表示知识表示是人工智能研究中极为重要的研究课题之一。无论应用...
数据挖掘与知识发现(讲稿3---面向属性的归纳学习技术)_工学_高等教育_教育...{一年级,二年级,三年级}→能力强 规则 12:{良好}→能力强 规则 13:{优秀}...
12页 1下载券 数据挖掘与知识发现(讲稿... 22页 免费 数据挖掘与知识发现(...第6章 基于粗糙集(Rough Set)理论 的数据挖掘技术 ┊┊┊┊┊┊┊┊┊┊┊...
过滤的实质就是一种 4 数据挖掘与知识发现讲稿 主讲:刘以安 分类,现讨论贝叶斯方法的文本过滤。用下式所示的矢量来表示文本内 容: D ( Pi ) = (T1 , W...
数据挖掘与知识发现(讲稿5---关联规则挖掘技术)_电脑基础知识_IT/计算机_专业... end; Lk ={c? C k c.count?min_sup}; (11)end; (12)return L= ...
数据挖掘与知识发现(讲稿1... 数据挖掘与知识发现(讲稿4... 数据挖掘与知识...{一年级,二年级,三年级}→能力强 规则 12:{良好}→能力强 规则 13:{优秀}...
大数据数据挖掘培训讲义1:机器学习数据挖掘知识发现简介_销售/营销_经管营销_...Q: Characterize visitors who spend more than $12 on an average order at ...
(2)建树的算法步骤 )① 对于任意的选择属性 A, 假设 A 有 v 个属性值, 对应的概率分别为 p1 , p 2 , L , p v 12 数据挖掘与知识发现讲稿 主讲:刘...
数据挖掘与知识发现(讲稿1... 数据挖掘与知识发现(讲稿3... 数据挖掘与知识...解:因为初始时刻属于 P 类和 N 类的实例个数均为 12 个,所以初始时刻的...
热门文档