lasso变量选择介绍
Lasso思想及算法
统计 2010-11-25 21:47:59 阅读843 评论2 字号:大中小 订阅
1、只有这么几个人在做LASSO,他们都是大牛,你可以直接GOOGLE他们的主页,看他们在这块发了什么文章。
yu bin, zhu ji, zhang tong, hui zou, yuan ming, Nicolai Meinshausen, Peter Bühlmann, Martin J. Wainwright, jianqing fan, Liza Levina, Peter Bickel,Tibshirani(Lasso的提出者)
2、统计和算法不是一回事的。举个例子吧,下面这篇文章就是统计的人发的,其中讨论到如何在GLM上运用SCAD -- LASSO衍生出来的一种惩罚函数项 -- 他们就做的很理论,他们很关心这个“算法”的理论性质,比如估计量是否趋近正太,如果是,lambda该以何种rate收敛。他们也讨论算法,但是他们对算法的要求很简单,能算出来就行。doc.guandang.net
3、而如下这篇,讨论的基本属于同一个问题,如果将LASSO运用在GLM中的logistic回归上。但是,他们关心的是,如何算得又快又好。你看,这个时候,统计学界所陌生的nestiov都出来了。这个算法非常快,1000多个变量,也就几十秒的事情。
doc.guandang.net
4、variable selection 是一个热点专题啊,特别是在high dimensional data analysis,
有很多新的方法( lasso, group lasso, elastic net, SCAD...)
5、R的包lars 提供了LASSO
6、请教 lasso regression 和bridge logistic regression
你可以去看一下网址“doc.guandang.net”上下载文章“Penalized regressions: the bridge vs the lasso”看一下就知道了,如果想了了解这方面更详细的信息,可加qq:381823441,他的硕士论文做的就是这方面的内容。
7、LASSO有很多令人期待的问题没有解决,所以还是有很多坑可以去填的。要想好好学习这块的话,先读那几篇state-of-the-art的文章,如下:
最基本那篇
doc.guandang.net
yuan ming 然后提出的 group lasso
doc.guandang.net
zou hui的elastic net,可以同时自动选取相关程度比较大的变量(LASSO不能)
doc.guandang.net
zou hui 提出的adative lasso,试图避免lasso对参数的shrunkage
doc.guandang.net
jianqing fan 2001 年提出的另外一种 nonconvex的惩罚项 -- SCAD
doc.guandang.net
其学生08年时接着解决了SCAD的算法问题 -- 实际上就是一种adaptive lasso
doc.guandang.net
这方面文献太多了,我给的这几篇是影响比较大的,你可以看看08年这篇的reference,在里面可以找到一些有意思的线索。另外,LASSO还被广泛应用在graphical model上,有兴趣可以
lasso算法_IT/计算机_专业资料。修正的 LARS 算法和 lasso 2011/04/25 郝智恒在小弟的上一篇文章中,简单的介绍了 LARS 算法是怎么回事。主要参考的是 Efron 等人...
回归收缩以及通过 LASSO 选择变量 ROBERT TIBSHIRANI 加拿大多伦多大学 (1994.1 接收。 1995.1 修订) 摘 要 在线性模型预测中,我们再次提出一个新的方法——LASSO...
Lasso 算法则是一种能够实现指标集合精简的估计方法。 Tibshirani(1996)提出了 Lasso(The Least Absolute Shrinkage and Selectionator operator)算法。这种算法通过构造...
SPARSE INVERSE COVARIANCE ESTIMATION WITH THE GRAPHICAL L ASSO 基于graphical Lasso 法对逆 稀疏协方差矩阵的估计 现代科技的快速发展带动了高维数据的广泛应用。...
LASSO_工学_高等教育_教育专区。lasso再介绍 LARS 之前,现引入经典的 Lasso 问题 Minβ { y ? X β } S .t. β 1 <t 3.2 最小角度回归(LAR) Efrone...
process lasso_信息与通信_工程科技_专业资料。process lasso是一款不错的系统进程优化软件,提供了优先级的概念,多种不同的方式,保证了系统的有效运行【...
基于Lasso改进的一般因果关系检验_专业资料。通常所说的Granger因果关系检验,实际上是对线性因果关系的检验,无法检验非线性因果关系。Peguin和Terasvirta(1999)进行了基...
*?8 C??J lasso 2 Elastic net Elasticnet . 3 ê? [ [1 [2 è Elastic net 5 ?Elastic net¤?{0 ?8 . Elastic net ê? [ *?8 C??J lasso ...
Lasso算法与AIC、bic_数学_自然科学_专业资料 暂无评价0人阅读0次下载举报文档 Lasso算法与AIC、bic_数学_自然科学_专业资料。筛选变量的三种方法之间的比较...
硕士学位论文 第二章线性模型基于Lasso及其相关方法的模型选择 是严格单峰的,勇B么有: (1)(2.21)式的最小二乘解存在且唯一,并且解d(z)关于z是奇函数。即 ...
热门文档