LDA主题模型
登录|注册
xiaopei的博客
--好好学习,天天向上 目录视图摘要视图订阅
个人资料
博客专家福利
C币兑换礼品剧透
10月推荐文章汇总
关于11月28日CSDN遭受网络攻击的情况说明
LDA基本介绍以及LDA源码分析(BLEI) 分类:机器学习文档 random statistics parameters php 2012-09-30 17:49 null 8207人阅读评论(4)收藏举报
hxxiaopei
Blei
基本介绍: topic model,之前已经介绍过(doc.guandang.net) 访问: 133701次积分: 2191等级:排名:第6580名原创: 78篇译文: 0篇转载: 23篇评论: 32条
topic model本质上就一个套路,在doc-word user-url user-doc等关系中增加topic层,扩充为2层结构,一方面可以降维,另一方面挖掘深层次的关系,用户doc word user url的聚类。 LDA的理论知识不介绍太多,基本就讲了原理以及推导两个内容,原理比较简单,推导过程貌似很简单,就一个变分加上一些参数估计的方法就搞定了,但是具体的细节还没明白,以后慢慢研究。简单介绍下基本原理以及有意义的几个公式:
plsa作为topic-model,每篇文档对应一系列topics,每个topic对应一批terms,有如下问题: 文章搜索
1.每篇文档及其在topic上的分布都是模型参数,也就是模型参数随着文档的数目增加而增加,这样容易导致 overfitting 2.对于new doc,如何确定其topic分布
文章分类推荐系统 (8)自然语言处理 (11)数据挖掘 (9)算法和数据结构 (8)输入法 (5) c/c++ (39) Mobile (2) linux (17)随笔 (1)机器学习 (8)
LDA解决这个问题,没必要把每个doc-topic分布作为模型参数,为doc-topic分布增加一个先验概率,限制整体上文档的topic分布,具体先验分布的作用,之前已经介绍过。 doc-topic分布服从多项分布,狄利克雷分布是其共轭先验。这样参数的个数就变成K+ N*K, N为词个数,K为topic个数,与文档个数无关。如果我想知道一个文档的topic分布怎么办?下面介绍下train以及predic的方法。作者采用了varitionalinference进行推导,过程就免了,列出来几个重要的公式:
论文中几个重要公式: 概率模型: D表示文档集合,最后就是保证P(D|α,β)最大。
文章存档 2014年06月 (4) 2014年01月 (1) 2012年09月 (4) 2012年06月 (4) 2012年05月 (2)展开
phi的迭代公式,表示文档中单词n在topic i上的分布:
gamma的迭代公式,文档在topic上的分布 阅读排行[学习笔记]学习主题模型( (11160) LDA基本介绍以及LDA源 (8119)数据挖掘之lsh minhash (4018) (3912)先验概率后验概率似然极
Beta的迭代公式,model中topic-word分布:

LDA-LSA简介文本分析_预防医学_医药卫生_专业资料 暂无评价0人阅读0次下载举报文档 LDA-LSA简介文本分析_预防医学_医药卫生_专业资料。简单介绍LDA,LSA文本表示...
第 3 节 主要介绍本文的核心算法 基于 LDA 的垃圾评论 发现, 主要有基于...( L DA) 模型是 Blei 等在 2003 年提出的[ 9] , 属于主题模型( T opic...
在处理大规模数据方面也通常优于LSA.LDA在PLSA的基础上加入了Dirichlet先验 分布,是PLSA的一个突破性的延伸.LDA的创始 者Blei等人〔9〕指出,PLSA在文档对应主题的...
线性判别分析LDA (1)_数学_自然科学_专业资料。LDA线性分析及PCA线性判别分析(LDA) 介绍 线性判别分析(Linear Discriminant Analysis, LDA),也 叫做Fisher线性判别...
基于LDA模型的博客垃圾评论发现_专业资料。Blog(博客)作为一种新兴的网络媒体,在很大程度上增强了互联网的开放性,Blog已经成为互联网上的主要信息源之一,这也使得...
线性判别分析LDA_数学_自然科学_专业资料。线性判别分析LDA二分类,多分类以及小样本解决方案。线性判别分析(LDA) 基本思想线性判别分析的基本思想是将高维的模式...
LDA 算法入门一.LDA 算法概述:线性判别式分析 (Linear Discriminant Analysis, LDA) ,也叫做 Fisher 线性判别 (Fisher Linear Discriminant ,FLD) ,是模式识别的...
[5]的 1.8 节有该方法的非常详细的推理, 我这里 只大致介绍该方法的思想。...lda/ 本文中程序的代码和相关资料 [2] http://www.cs.princeton.edu/~blei...
LDA 主题模型简介 By 范建宁 @ 2010/10/08 关键词:LDA, Topic Model 分类 ...D. M. Blei 在 2003 年 (准确地说应该是 2002 年) 提出的 LDA (Latent ...
Blei 提出以后, 已经越来越 广泛地 被各界 人士关 注。LDA 模型从一 个数 ...介绍 L DA 模 型如何 用于话 题追踪; 第 5 节给出实验结果, 并进行分析...
热门文档