原题目叫做The perception and large margin classifiers,其实探讨的是在线学习。这里将题目换了换。以前讨论的都是批量学习(batch learning),就是给了一堆样例后,在样例上学习出假设函数h。而在线学习就是要根据新来的样例,边学习,边给出结果。
假设样例按照到来的先后顺序依次定义为。X为样本特征,y为类别标签。我们的任务是到来一个样例x,给出其类别结果y的预测值,之后我们会看到y的真实值,然后根据真实值来重新调整模型参数,整个过程是重复迭代的过程,直到所有的样例完成。这么看来,我们也可以将原来用于批量学习的样例拿来作为在线学习的样例。在在线学习中我们主要关注在整个预测过程中预测错误的样例数。
拿二值分类来讲,我们用y=1表示正例,y=-1表示负例。回想在讨论支持向量机中提到的感知算法(perception algorithm)。我们的假设函数为
计算结果映射到-1和1 其中x是n维特征向量,是n+1维参数权重。函数g用来将
上。具体公式如下:
这个也是logistic回归中g的简化形式。
现在我们提出一个在线学习算法如下:
新来一个样例,我们先用从之前样例学习到的来得到样例的预测值y,如果
(即预测正确),那么不改变,反之
也就是说,如果对于预测错误的样例,进行调整时只需加上(实际上为正例)或者减去(实际负例)样本特征x值即可。初始值为向量0。这里我们关心的是的符号,而不是它的具体值。调整方法非常简单。然而这个简单的调整方法还是很有效的,它的错误率不仅是有上界的,而且这个上界不依赖于样例数和特征维度。
下面定理阐述了错误率上界:
定理(Block and Novikoff):
给定按照顺序到来的样例。假设对于所有的样例
,也就是说特征向量长度有界为D



。更进一步,假设存在一个单位长度向量
在线学习是通过计算机互联网, 或是通过手机无线网络, 在一个网络虚拟教室与教室...Current online learning is not limited to, the Web has a comprehensive ...
在线教学是一种通过互动多媒体来进行的商务或教学授课,如编著提供软件、 私人电脑、网页和/或企业内部互联网和学习管理系统来教授并追踪学习着成绩和 其他主要相关...
online learning 20页 免费 online learning 2页 2财富值 在线学习(Online Learning... 3页 1财富值 Online Learning 27页 1财富值 Online ensemble learning ...
online learning websites_英语学习_外语学习_教育专区。英语学习网站...Open Access Journals in the Field of Education (免费在线教育期刊大全) http...
在线学习(Online Learni... 3页 1下载券 Online Learning 27页 1下载券 ...Advantages and Disadvantages of Learning Online Warm-up questions: What did ...
2 E2learning 在线学习 211 E2learning 在线学习 所谓 E2Learning[3 ] 就是在线学习 (online learning) 或 网络化学习 , 即在教育领域建立互联网平台 , 学生通过...
在线学习(Online Learni... 3页 1下载券 Online Learning 27页 1下载券 Online ensemble learni... 134页 免费 Classroom learning or ... 2页 1下载券 ...
在线学习的好处与坏处[范文] 在线学习的好处与坏处[范文] Advantages and Disadvantages of Learning Online Along with the accelerated development of computer ...
online_learning_英语学习_外语学习_教育专区。慕课Online learning A Brief Introduction of Online Learning Carliner:展示在电脑上的教学资料。 Khan:通过使用网络...
热门文档