Logistic回归模型分析
76
计算机辅助工程
2005年
l(w)=logL(w)
=∑Y‘‘’loghw(x‘‘’)+(1一Y“’)l090一k(z“’))
(12)
f;l
合理回归就是恰当选择’I,使得Z@)达到最大,即式(12)可以作为回归的指标函数。在式(12)中令
1+Y(‘)
Yi
5
T
使Y。∈{--1,1),同时,令:
Pi=hw(x‘j)1
则容易推出指标函数在Yi的取值为{一1,1}时的另一种表达方式例:
誊
字
对于式(12)的似然函数Z∽),回归时应使之最大
化,上式右边取负值使以,.,)成cost函数,回归时应
使之最小化。
下面推导式(12)的似然函数z@)的梯度,为
了运算方便,先考虑一个数对{x≈‘】});),=,o)的情况,
对该式求~∈’.,的偏导,
啬¨,=(,志_h,禹高)毒咖~
’。(,志一。刊去J
(14)
g(w7工)(1一g(w7工)).:生w’工
OW
=(y(1一g(wlj)一(1一y)g(w7x))xj
=(y—Jt(j))J,
上述推导过程用到sigmoid函数的导数公式:
g,(z)=面b.e-2
=专.( 一专)
a5’
=g(z)O—g(z))
考虑到微分算子的线性性质,得出对数似然函数的梯度:
Vfm)=∑(),‘“一k@‘。)如
(16)
lffil
同样,在式(16)中,令
1+v(‘’
Yi
2亍
n=k@‘‘’)
则推出对数似然函数的梯度在Yr的取值为{.1,1)时的另一表达【9】:
w(w’掣Tl+yCO—Rk(17)
万 万方数据
方数据3
Logistic回归的推广模型
3.1广义线性模型
为了使推导过程简明清晰,本节只考虑z为单变量X的情形,不失一般性,结果可以推广到工为向量的情况。
在线性回归中假定概率模型:
p(x;∽~Ⅳ∽,盯2)
而在二分类Logistic回归中,假定概率模型:
p(x;秒)~Bernoulli(痧)
事实上这些模型可以泛化为一类模型族,称为广义线性模型。
广义线性模型可以通过如下指数族概率模型来表达:
p(x;11)=b(x)exp(771丁(x)-a(rD)
(18)
其中x,r/和丁根据应用情况可以是标量或矢量。
线性回归模型和二分类Logistic回归模型可以归为广义线性模型的两个特例。
.对于线性回归模型:
烈葛肋2去exp(一言。一/1)2』
=去唧㈠吵expp互1∥2]
(,9)
对照式(18)可知,在广义线性模型中,令
扫(J)=(1,√磊)exp(一x2,2)
/7=∥丁(x)=工
a(r/)=/t2/2
便可由广义线性模型得到线性回归模型的概率模
型。
对于二分类Logistic回归模型:
p(一咖=妒。(1一咖‘1-。’
2exp(xlog妒+(I—x)l090一工))
(20)
=ed(109(南]卜so卅]
同样,在广义线性模型中,令
卵=log(毛)
r(x)=X
a(r/)=一log(1一妒)=log(1一e一1)
b(x)=I
便得到二分类Logistic回归的概率模型。
还有许多其他分布也属于广义线性模型家族。如伽玛分布,非负二项式分布等,许多累积模型
(additivemIDdel)也往往属于这个家族。㈣
下面考察多分类Logistic回归模型。
2005 Logistic 回归模型分析施朝健 1, 2,张明铭 1 (1.上海海事大学 商船学院,上海 200135;2.复旦大学 信息工程学院,上海 200433) 摘 要:对 Logistic 回归模型...
Logistic回归分析,Probit分析,判别分析,对数线性模型等 是处理分类因变量的统计方法。其中Logistic回归分析,Probit分析是当前常用 的用来处理分类因变量的统计方法。...
logistic回归模型在ROC分析中的应用_专业资料。目的 探讨logistic回归模型在有协变量或多指标联合诊断试验ROC分析中的应用。方法 根据疾病状态建立logistic回归模型,...
Logistic回归模型的Bayes分析_专业资料。Logistic回归模型第%) 卷第 % 期 ! " " B 年# 月 山西师范大学学报 自然科学版) ( *+,-./0 +1 23/.45 67/...
logistic 回归又称 logistic 回归分析,主要在流行病学中应用较多,比较常用的情形是探索某 疾病的危险因素,根据危险因素预测某疾病发生的概率,等等。 。通过 logistic ...
+bkxk 常用于分析配比的资料 2012-8-20 10 概述小结 logistic回归对因变量的比数的对数值 ( logit值)建立模型 因变量的logit值的改变与多个自变量的 加权和呈...
logistic回归模型 SPSS例析_人文社科_专业资料。逻辑斯蒂回归模型 定型数据Logistic 回归 Logistic 回归是多元回归分析的拓展,其因变量不是连续的变量;在 logistic ...
二分类logistic回归模型 二分类logistic回归模型 浙江大学医学院流行病与卫生统计学教研室 沈毅 非条件logistic回归 回归 非条件 模型简介 内容提 简单分析实例 哑...
Logistic 回归分析_理学_高等教育_教育专区。回归分析教程课程内容结构第一部分 回顾与演进 第二部分 自变量分析 验证性因子分析探索性因子分析结构方程模型 第三...
热门文档