文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 高等教育 > 文学 > Logistic回归模型分析
侵权投诉

Logistic回归模型分析

Logistic回归模型分析

76

计算机辅助工程

2005年

l(w)=logL(w)

=∑Y‘‘’loghw(x‘‘’)+(1一Y“’)l090一k(z“’))

(12)

f;l

合理回归就是恰当选择’I,使得Z@)达到最大,即式(12)可以作为回归的指标函数。在式(12)中令

1+Y(‘)

Yi

5

T

使Y。∈{--1,1),同时,令:

Pi=hw(x‘j)1

则容易推出指标函数在Yi的取值为{一1,1}时的另一种表达方式例:

誊

字

对于式(12)的似然函数Z∽),回归时应使之最大

化,上式右边取负值使以,.,)成cost函数,回归时应

使之最小化。

下面推导式(12)的似然函数z@)的梯度,为

了运算方便,先考虑一个数对{x≈‘】});),=,o)的情况,

对该式求~∈’.,的偏导,

啬¨,=(,志_h,禹高)毒咖~

’。(,志一。刊去J

(14)

g(w7工)(1一g(w7工)).:生w’工

OW

=(y(1一g(wlj)一(1一y)g(w7x))xj

=(y—Jt(j))J,

上述推导过程用到sigmoid函数的导数公式:

g,(z)=面b.e-2

=专.( 一专)

a5’

=g(z)O—g(z))

考虑到微分算子的线性性质,得出对数似然函数的梯度:

Vfm)=∑(),‘“一k@‘。)如

(16)

lffil

同样,在式(16)中,令

1+v(‘’

Yi

2亍

n=k@‘‘’)

则推出对数似然函数的梯度在Yr的取值为{.1,1)时的另一表达【9】:

w(w’掣Tl+yCO—Rk(17)

万 万方数据

方数据3

Logistic回归的推广模型

3.1广义线性模型

为了使推导过程简明清晰,本节只考虑z为单变量X的情形,不失一般性,结果可以推广到工为向量的情况。

在线性回归中假定概率模型:

p(x;∽~Ⅳ∽,盯2)

而在二分类Logistic回归中,假定概率模型:

p(x;秒)~Bernoulli(痧)

事实上这些模型可以泛化为一类模型族,称为广义线性模型。

广义线性模型可以通过如下指数族概率模型来表达:

p(x;11)=b(x)exp(771丁(x)-a(rD)

(18)

其中x,r/和丁根据应用情况可以是标量或矢量。

线性回归模型和二分类Logistic回归模型可以归为广义线性模型的两个特例。

.对于线性回归模型:

烈葛肋2去exp(一言。一/1)2』

=去唧㈠吵expp互1∥2]

(,9)

对照式(18)可知,在广义线性模型中,令

扫(J)=(1,√磊)exp(一x2,2)

/7=∥丁(x)=工

a(r/)=/t2/2

便可由广义线性模型得到线性回归模型的概率模

型。

对于二分类Logistic回归模型:

p(一咖=妒。(1一咖‘1-。’

2exp(xlog妒+(I—x)l090一工))

(20)

=ed(109(南]卜so卅]

同样,在广义线性模型中,令

卵=log(毛)

r(x)=X

a(r/)=一log(1一妒)=log(1一e一1)

b(x)=I

便得到二分类Logistic回归的概率模型。

还有许多其他分布也属于广义线性模型家族。如伽玛分布,非负二项式分布等,许多累积模型

(additivemIDdel)也往往属于这个家族。㈣

下面考察多分类Logistic回归模型。

上一页第3页

你可能喜欢

  • Logistic回归模型
  • logistic回归分析
  • 风险预警系统
  • 拟合算法
  • 统计学第五章课后答案
  • 线性回归分析
  • 洗发水市场调查报告

热门文档

相关文档

  • Logistic回归模型分析

    2005 Logistic 回归模型分析施朝健 1, 2,张明铭 1 (1.上海海事大学 商船学院,上海 200135;2.复旦大学 信息工程学院,上海 200433) 摘 要:对 Logistic 回归模型...

  • Logistic回归模型分析综述及应用研究

    Logistic回归分析,Probit分析,判别分析,对数线性模型等 是处理分类因变量的统计方法。其中Logistic回归分析,Probit分析是当前常用 的用来处理分类因变量的统计方法。...

  • 【论文】logistic回归模型在ROC分析中的应用

    logistic回归模型在ROC分析中的应用_专业资料。目的 探讨logistic回归模型在有协变量或多指标联合诊断试验ROC分析中的应用。方法 根据疾病状态建立logistic回归模型,...

  • Logistic回归模型的Bayes分析

    Logistic回归模型的Bayes分析_专业资料。Logistic回归模型第%) 卷第 % 期 ! " " B 年# 月 山西师范大学学报 自然科学版) ( *+,-./0 +1 23/.45 67/...

  • logistic回归模型

    logistic 回归又称 logistic 回归分析,主要在流行病学中应用较多,比较常用的情形是探索某 疾病的危险因素,根据危险因素预测某疾病发生的概率,等等。 。通过 logistic ...

  • Logistic回归分析及其应用

    +bkxk 常用于分析配比的资料 2012-8-20 10 概述小结 logistic回归对因变量的比数的对数值 ( logit值)建立模型 因变量的logit值的改变与多个自变量的 加权和呈...

  • logistic回归模型 SPSS例析

    logistic回归模型 SPSS例析_人文社科_专业资料。逻辑斯蒂回归模型 定型数据Logistic 回归 Logistic 回归是多元回归分析的拓展,其因变量不是连续的变量;在 logistic ...

  • logistic回归模型

    二分类logistic回归模型 二分类logistic回归模型 浙江大学医学院流行病与卫生统计学教研室 沈毅 非条件logistic回归 回归 非条件 模型简介 内容提 简单分析实例 哑...

  • Logistic 回归分析

    Logistic 回归分析_理学_高等教育_教育专区。回归分析教程课程内容结构第一部分 回顾与演进 第二部分 自变量分析 验证性因子分析探索性因子分析结构方程模型 第三...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email