Logistic回归模型分析
第3期
施朝健,等:Logistic回归模型分析
75
意应用累积Logistic回归尤其是多分类累积Logistic回归分析和处理的相关问题,但应用还是比较初步的,研究集中在对进行聚类分析后的离散性变量,利用线性系数模型进行累积Logistic回归。16’¨在现有的统计教科书中,一般都有Logistic回二归模型的内容,但往往不作为中心内容,缺乏有关该方法的详尽讨论。【8】机器学习的书籍虽然涉及到Logistic回归,但没有进行深入讨论。19】有关专著在国内外很少。因此有必要对该模型的理论背景和框架进行较为深入的探讨,以便做到合理应用该模型。
1线性回归的概率关联
利:用最小二乘法进行线性回归,定义cost函数
J(,.,):要∑n(y(i)--wTx(i))2
(1)
这个定义其实隐含着样本点回归误差服从一定概率
分布的假定。假设样本数对(一,Y‘o)间关系由如
下线性函数表达:
Y∞=’.,Tx‘‘’+£‘D
(2)
其中£∞表示误差值,设该误差值为lID随机变量并服从高斯分布,其密度函数为:
孵∞)=志唧卜譬j
∽)
这意味着在给定x‘o和W‘D的条件下,y(D的概率密度
砌㈨∥h,=志唧(-气竽]㈩
x惯{11y《]
在给定X,w的条件下,Y的概率可表示为p(Y1X;w),将这个概率看成w的函数,我们称之为似然函数(1ikelihoodfunction),
L(’.,)=L(w;X,y)=p(yX;w)
(5)
在£∽独立分布的假定下,给定z‘‘’的条件下尸独立
分布,这样可写成:
L(_I.,)=兀P(Y‘。’∥’,’.,)
:冉i=1志唧(一学]
㈤’
给出表示X‘n,尸关系的概率模型,根据最大似然原
万 万方数据
方数据理(principle
ofmaximum
likelihood),为合理拟合数
据应选取W使得Lm)最大化,但计算比较烦琐,取L∽)的对数作为对数似然(109likelihood)Z∽)以简化最大值分析,
l(w)=logL(w)
岫g彝赤唧(一学]:扣击唧(一屿掣]
∽’
=舶g而1一≯1专I善n(y…一w7√f))2
从对数函数的性质知,当Z@)最大时,相应使L(w)最大。由(7)式可以看出,要使Z伽)达到最大,相当于使
i1∑n(),(i)--wTx(1))2
(8)
二f哥
最小,对照(1)式可知,(8)式即最小二乘法的cost函数以’.,)。
2
Logistic回归cost函数的分析
在回归问题中如果响应Y为二值性的,便实际
成为分类问题,即所谓二分类问题。为了使问题分析得更直观些,假定Y的取值为0或l。
Logistic回归是解决这种二分类问题的有效方法之一。该法也是在一定的概率模型假定下推出的。首先考察函数:
‰(班咖’班嘉
(9)
其中,
比)=专
称为Logistic函数或sigmoid函数。
假定在给定x;w的条件下,y=l出现的概率服P(Y=1Iz;w)=丸(J)P(Y=0I工;1.,)=1一J0(J)
p(yIx;w)2k@)’(1一k@))h
(10)
L(w)=p(YIX:w)
--HP(Y‘‘’lXO);'.,)
:n(k(川)广’(1一k(n))¨…
(11)
从伯努利分布,并可表示为:
如上两式可合并为紧凑形式:
其中y∈{o,1)。在m个独立样本数对情况下,样本数据的似然函数为:
同样,为计算方便,取对数似然:
2005 Logistic 回归模型分析施朝健 1, 2,张明铭 1 (1.上海海事大学 商船学院,上海 200135;2.复旦大学 信息工程学院,上海 200433) 摘 要:对 Logistic 回归模型...
Logistic回归分析,Probit分析,判别分析,对数线性模型等 是处理分类因变量的统计方法。其中Logistic回归分析,Probit分析是当前常用 的用来处理分类因变量的统计方法。...
logistic回归模型在ROC分析中的应用_专业资料。目的 探讨logistic回归模型在有协变量或多指标联合诊断试验ROC分析中的应用。方法 根据疾病状态建立logistic回归模型,...
Logistic回归模型的Bayes分析_专业资料。Logistic回归模型第%) 卷第 % 期 ! " " B 年# 月 山西师范大学学报 自然科学版) ( *+,-./0 +1 23/.45 67/...
logistic 回归又称 logistic 回归分析,主要在流行病学中应用较多,比较常用的情形是探索某 疾病的危险因素,根据危险因素预测某疾病发生的概率,等等。 。通过 logistic ...
+bkxk 常用于分析配比的资料 2012-8-20 10 概述小结 logistic回归对因变量的比数的对数值 ( logit值)建立模型 因变量的logit值的改变与多个自变量的 加权和呈...
logistic回归模型 SPSS例析_人文社科_专业资料。逻辑斯蒂回归模型 定型数据Logistic 回归 Logistic 回归是多元回归分析的拓展,其因变量不是连续的变量;在 logistic ...
二分类logistic回归模型 二分类logistic回归模型 浙江大学医学院流行病与卫生统计学教研室 沈毅 非条件logistic回归 回归 非条件 模型简介 内容提 简单分析实例 哑...
Logistic 回归分析_理学_高等教育_教育专区。回归分析教程课程内容结构第一部分 回顾与演进 第二部分 自变量分析 验证性因子分析探索性因子分析结构方程模型 第三...
热门文档