统计学课件
i
Table of Contents
ABSTRACT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1THE OVERABUNDANCE OF DATA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2DATA MINING AND THE BUSINESS INTELLIGENCE CYCLE . . . . . . . . . . . . . . . . . . . . . . . .2THE SEMMA METHODOLOGY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3HOW LARGE IS “A LARGE DATABASE?” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4PROCESSING THE ENTIRE DATABASE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4PROCESSING A SAMPLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6THE STATISTICAL VALIDITY OF SAMPLING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8SIZE AND QUALITY DETERMINE THE VALIDITY OF A SAMPLE . . . . . . . . . . . . . . . . .9RANDOMNESS: THE KEY TO QUALITY SAMPLES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10CURRENT USES OF SAMPLING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12WHEN SAMPLING SHOULD NOT BE USED . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13MYTHS ABOUT SAMPLING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13SAMPLING AS A BEST PRACTICE IN DATA MINING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16PREPARING THE DATA FOR SAMPLING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17COMMON TYPES OF SAMPLING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17DETERMINING THE SAMPLE SIZE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18GENERAL SAMPLING STRATEGIES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20USING SAMPLE DATA FOR TRAINING, VALIDATION, AND TESTING . . . . . . . . . . . .21SAMPLING AND SMALL DATA TABLES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21CASE STUDY: USING SAMPLING IN CHURN ANALYSIS . . . . . . . . . . . . . . . . . . . . . . . . . . . .21STEP 1: ACCESS THE DATA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23STEP 2: SAMPLE THE DATA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .24STEP 3: PARTITION THE DATA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28STEP 4: DEVELOP A MODEL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28STEP 5: ASSESS THE RESULTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29SUMMARY OF CASE STUDY RESULTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .32SAS INSTITUTE: A LEADER IN DATA MINING SOLUTIONS . . . . . . . . . . . . . . . . . . . . . . . .33REFERENCES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34RECOMMENDED READING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .35DATA MINING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .35DATA WAREHOUSING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .35STATISTICS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .35CREDITS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .36
SAS Global Forum 2007 Data Mining and Predictive Modeling Paper 078-2007 IMPROVING CREDIT S Logistic Regression has been widely used in the financial ...
sas数据挖掘经典算法(SAS)_计算机软件及应用_IT/计算机_专业资料。SAS数据挖掘经典算法 Common Used Data Mining Algorithms “给我一个立足点和一根足够长的杠杆,...
SAS_Datamining_经济学_高等教育_教育专区。计量统计软件SAS学习资料深层数据分析 SAS 深层数据分析 与数据挖掘 Agenda ? SAS 数据挖掘总括 ? SAS 数据挖掘解决的...
Data Mining分析工具_IT/计算机_专业资料。数据挖掘工具简介Enterprise Miner(SAS) SAS Enterprise Miner 在资料探勘工具市场是非常杰出的工具,它运用了 SAS 统计...
Data Mining Tools METAspectrumSM Evaluation 100 Leader 80 Angoss CA SPSS Oracle IBM KXEN Insightful Fair Isaac SAS Performance Quadstone 60 Genalytics 40 ...
? ? Assess 类 Scoring 类 Utility 类 包括 Assessment、Reporter 包括 Score、C*Score 包括 Group Processing、Data Mining Database、SAS Code、Control point、...
SAS Enterprise Miner – A variety of statistical analysis tools – Data warehouse tools and multiple data mining algorithms ? Mirosoft SQLServer 2005 – ...
14 celons@163.com SAS软件教程(Celon) 数据挖掘技术(Data Mining) 数据挖掘技术数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据 数据挖掘就是从...
SAS数据挖掘公司咨询顾问 朱立强_计算机软件及应用_IT/计算机_专业资料。商业智能工具介绍SAS数据挖掘技术概览 SAS Data Mining Overview Cuby. Zhu(朱立强) ...
关键词:SAS系统;.NET系统;集成;数据挖掘;数据处理;统计分析 中图法分类号:TP31;TP39 文献标识码:A 文章编号:1000.7024(2007)22.5356-03 Data mining in ...
热门文档