4. 只靠数据来说话(Listen (only) to the Data)
IDMer:“让数据说话”没有错,关键是还要记得另一句话:兼听则明,偏听则暗!如果数据+工具就可以解决问题的话,还要人做什么呢?
4a.投机取巧的数据:数据本身只能帮助分析人员找到什么是显著的结果,但它并不能告诉你结果是对还是错。
4b.经过设计的实验:某些实验设计中掺杂了人为的成分,这样的实验结果也常常不可信。
5. 使用了未来的信息(Accept Leaks from the Future)
IDMer:看似不可能,却是实际中很容易犯的错误,特别是你面对成千上万个变量的时候。认真、仔细、有条理是数据挖掘人员的基本要求。
预报(Forecast)示例:预报芝加哥银行在某天的利率,使用神经网络建模,模型的准确率达到95%。但在模型中却使用了该天的利率作为输入变量。
金融业中的预报示例:使用3日的移动平均来预报,但却把移动平均的中点设在今天。
解决方法:
要仔细查看那些让结果表现得异常好的变量,这些变量有可能是不应该使用,或者不应该直接使用的。 给数据加上时间戳,避免被误用。
6. 抛弃了不该忽略的案例(Discount Pesky Cases)
IDMer:到底是“宁为鸡头,不为凤尾”,还是“大隐隐于市,小隐隐于野”?不同的人生态度可以有同样精彩的人生,不同的数据也可能蕴含同样重要的价值。
异常值可能会导致错误的结果(比如价格中的小数点标错了),但也可能是问题的答案(比如臭氧洞)。所以需要仔细检查这些异常。
研究中最让激动的话语不是“啊哈!”,而是“这就有点奇怪了……”
数据中的不一致性有可能会是解决问题的线索,深挖下去也许可以解决一个大的业务问题。
数据挖掘中易犯的11大错误_数学_自然科学_专业资料。数据挖掘中易犯的 11 大错误 数据分析微信公众号 datadw——关注你想了解的,分享你需要的。 按照 Elder 博士...
数据挖掘中易犯的11大错误数据挖掘中易犯的11大错误隐藏>> 数据挖掘中易犯的 11 大错误 1. 缺乏数据(Lack Data) 对于分类问题或预估问题来说,常常缺乏准确标注...
数据挖掘中要避免的11大错误_生产/经营管理_经管营销_专业资料。数据挖掘中要避免...IDMer:看似不可能,却是实际中很容易犯的错误,特别是你面对成千上万个变量的时 ...
常见数据挖掘错误:识别及纠正_计算机硬件及网络_IT/计算机_专业资料。常见数据挖掘...43页 4下载券 数据挖掘易犯的11个错误 24页 1下载券喜欢此文档的还喜欢 spss...
数据挖掘过程中的五大错误_理学_高等教育_教育专区。对于数学建模比赛培训中数据处理...数据挖掘中易犯的错误 暂无评价 8页 免费 数据挖掘中要避免的11大... 暂无...
数据挖掘的常用方法及其面临的问题 摘要 数据挖掘是从存放在数据库、数据仓库或其他信息库中的 大量数据中挖掘有意义的知识的过程。数据挖掘的结果应该是正 确、合理...
数据挖掘入门必看10个问题!_工作计划_计划/解决方案_实用文档。介绍数据挖掘的一些...数据挖掘入门 91页 1下载券 数据挖掘入门介绍 2页 免费 演示版 第11章 数据...
聚类数据集图1 数据集中异常点示例 序列数据集 异常点数据挖掘的任务可以分成两个子问题: (1) 给出已知数据集的异常点数据的定义; (2) 使用有效的方法挖掘异常...
主管常犯的11个错误_自我管理与提升_求职/职场_实用文档。主管常犯的11个错误...1.1 有效的管理者,为事情结果负责 * 拒绝承担个人责任是一个易犯的错误。 *...
4s店广告投放易犯的11个错误_广告/传媒_人文社科_专业资料。汽车 品牌 行业 策划...培训学校校长易犯的11个... 1页 2下载券 数据挖掘中易犯的11大错... 4页...
热门文档