文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 自然科学 > 数学 > 数据挖掘易犯的11个错误
侵权投诉

数据挖掘易犯的11个错误

数据挖掘易犯的11大错误与数据分析技能

0. 缺乏数据(Lack Data)

对于分类问题或预估问题来说,常常缺乏准确标注的案例。

例如:

-欺诈侦测(Fraud Detection):在上百万的交易中,可能只有屈指可数的欺诈交易,还有很多的欺诈交易没有被正确标注出来,这就需要在建模前花费大量人力来修正。

-信用评分(Credit Scoring):需要对潜在的高风险客户进行长期跟踪(比如两年),从而积累足够的评分样本。

1. 太关注训练(Focus on Training)

IDMer:就象体育训练中越来越注重实战训练,因为单纯的封闭式训练常常会训练时状态神勇,比赛时一塌糊涂。

实际上,只有样本外数据上的模型评分结果才真正有用!(否则的话,直接用参照表好了!)

例如:

-癌症检测(Cancer detection):MD Anderson的医生和研究人员(1993)使用神经网络来进行癌症检测,惊奇地发现,训练时间越长(从几天延长至数周),对训练集的性能改善非常轻微,但在测试集上的性能却明显下降。

-机器学习或计算机科学研究者常常试图让模型在已知数据上表现最优,这样做的结果通常会导致过度拟合(overfit)。

解决方法:

解决这个问题的典型方法是重抽样(Re-Sampling)。重抽样技术包括:bootstrap、cross-validation、jackknife、leave-one-out...等等。

第1页

你可能喜欢

  • 十大数据挖掘算法
  • 十大经典算法
  • 数据挖掘技术
  • 云计算与数据挖掘
  • 智能交通数据挖掘
  • 空间数据挖掘

热门文档

相关文档

  • 数据挖掘中易犯的11大错误

    数据挖掘中易犯的11大错误_数学_自然科学_专业资料。数据挖掘中易犯的 11 大错误 数据分析微信公众号 datadw——关注你想了解的,分享你需要的。 按照 Elder 博士...

  • 数据挖掘中易犯的11大错误

    数据挖掘中易犯的11大错误数据挖掘中易犯的11大错误隐藏>> 数据挖掘中易犯的 11 大错误 1. 缺乏数据(Lack Data) 对于分类问题或预估问题来说,常常缺乏准确标注...

  • 数据挖掘中要避免的11大错误

    数据挖掘中要避免的11大错误_生产/经营管理_经管营销_专业资料。数据挖掘中要避免...IDMer:看似不可能,却是实际中很容易犯的错误,特别是你面对成千上万个变量的时 ...

  • 常见数据挖掘错误:识别及纠正

    常见数据挖掘错误:识别及纠正_计算机硬件及网络_IT/计算机_专业资料。常见数据挖掘...43页 4下载券 数据挖掘易犯的11个错误 24页 1下载券喜欢此文档的还喜欢 spss...

  • 数据挖掘过程中的五大错误

    数据挖掘过程中的五大错误_理学_高等教育_教育专区。对于数学建模比赛培训中数据处理...数据挖掘中易犯的错误 暂无评价 8页 免费 数据挖掘中要避免的11大... 暂无...

  • 数据挖掘的常用方法及其面临的问题

    数据挖掘的常用方法及其面临的问题 摘要 数据挖掘是从存放在数据库、数据仓库或其他信息库中的 大量数据中挖掘有意义的知识的过程。数据挖掘的结果应该是正 确、合理...

  • 数据挖掘入门必看10个问题!

    数据挖掘入门必看10个问题!_工作计划_计划/解决方案_实用文档。介绍数据挖掘的一些...数据挖掘入门 91页 1下载券 数据挖掘入门介绍 2页 免费 演示版 第11章 数据...

  • 几种常用的异常数据挖掘方法

    聚类数据集图1 数据集中异常点示例 序列数据集 异常点数据挖掘的任务可以分成两个子问题: (1) 给出已知数据集的异常点数据的定义; (2) 使用有效的方法挖掘异常...

  • 主管常犯的11个错误

    主管常犯的11个错误_自我管理与提升_求职/职场_实用文档。主管常犯的11个错误...1.1 有效的管理者,为事情结果负责 * 拒绝承担个人责任是一个易犯的错误。 *...

  • 4s店广告投放易犯的11个错误

    4s店广告投放易犯的11个错误_广告/传媒_人文社科_专业资料。汽车 品牌 行业 策划...培训学校校长易犯的11个... 1页 2下载券 数据挖掘中易犯的11大错... 4页...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email