数据前期的准备
关键词_character_表示所有的字会型变量,其它的_numeric_和_all_已经讲解过。Drop和keep选项可以剔除或保留选择的变量。
2.1.2 观测了变量的值的情况后,我们就可能会发现一些错误值,这时可以将这些异常值输出出来(输出到日志中,或输出到数据集中,或外部文件):
data _null_;
set pmlr.Develop;
file print; ***send output to the output window;
***check Res;
if Res not in ('R' 'S' 'U') then put Res= ;
***check Branch;
if verify(trim(Branch),'B0123456789') and not missing(Branch) and substr(Branch,1,1) ne trim('B')
then put Branch= ;
run;
这里,如果RES变量的值不是R、S、U,则为错误的值。
2.1.3 通过format来查看错误值个数
这里我们假设Res中的U是错误的值,我们可以用以下操作来实现错误值个数的观测 proc format;
value $Res 'R','S' = 'Valid'
other = 'Miscoded';
run;
proc freq data=pmlr.Develop;
format Res $Res.;
tables Res/ nocum nopercent missing;
run;
2.2 几个重要的函数
Verify: SAS的verify函数在数据处理和data clean的过程中十分有用,verify函数的第一个参数是源字符串,后续参数都是待查找字符,如果源字符串中包含的都是待查找字符,verify就返回0,否则,返回不包含字符在源字符串中的位置。由此可见,我们可以利用verify函数对字符串作非正常字符的检测,从而达到clean data的目的。
verify的语法:verify(source, chkstring1[, chkstring2, … , chkstringn]) (参考文献:
doc.guandang.net)
TRIM(s) 返回去掉字符串s的尾随空格的结果。
数据清理数据清理 data Cleaning 技术大全及 SAS 实现 转载请注明出处:http://blog.sina.com.cn/s/blog_5d3b177c0100esmx.html 1 简介 数据清理是数据准备一个...
Cody's data cleaning techniques using sas_物理_自然科学_专业资料。SAS数据清洗技术,基本而全面,本文是是原书的读书笔记,记录的是原书的精华部分...
SAS软件在中国慢性病及其危险因素监测数据清理中的...APPLICATION OF SAS SOFTWARE IN DATA CLEANING OF ...问题的跳转规定, 可以编写相应的宏程序实现 对逻辑...
ETL 中数据清洗技术在税务系统中的应用 ETL 中数据清洗技术在税务系统中的应用 Data Cleaning Technology of ETL Tax System in the Application 王时绘 1 伍江磊...
Data Quality, Data Cleaning and Applying to ... 实现的以数据清理为主要功 能的数据加载(ETL)系统...没有良好的数据质量作后盾,再先进的数据处理技术和...
中的应用模型,最后通过实例说明数据清洗的具体实现. ...数据清洗 (data cleansing/data cleaning/data ...[11]指出,数据清洗实际就是利用有关技术如数 理...
SAS技巧(清洗、统计)_IT/计算机_专业资料。SAS 数据清洗数据清洗,即从源数据... 数据清理data Cleaning技... 14页 1下载券 数据清洗研究 5页 免费 GSM数据...
数据清理(data cleaning), 5.3.3 数据集成(data ...技术问题 5.5.3 数据挖掘应用问题 5.5.4 实施...SAS的Enterprise Miner中包含了一个可以影射为SEMMA...
——数据仓库和数据挖掘(Data Warehouse 与 Data ...产品使全部的 SAS 技术最大限度的实现了 Web-...对源数据进行清理和整合 按计划或规则进行数据仓库的...
的 Meta 分析方法及 SAS 实现张天嵩 ,熊茜 (上海市静安区中心医院科教部, 上海 200040 )〔摘要〕 目的 介绍有序数据的 Meta 分析方法及其在 SAS 软件的实现...
热门文档