文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 数据清理data Cleaning技术大全及SAS实现
侵权投诉

数据清理data Cleaning技术大全及SAS实现

数据前期的准备

关键词_character_表示所有的字会型变量,其它的_numeric_和_all_已经讲解过。Drop和keep选项可以剔除或保留选择的变量。

2.1.2 观测了变量的值的情况后,我们就可能会发现一些错误值,这时可以将这些异常值输出出来(输出到日志中,或输出到数据集中,或外部文件):

data _null_;

set pmlr.Develop;

file print; ***send output to the output window;

***check Res;

if Res not in ('R' 'S' 'U') then put Res= ;

***check Branch;

if verify(trim(Branch),'B0123456789') and not missing(Branch) and substr(Branch,1,1) ne trim('B')

then put Branch= ;

run;

这里,如果RES变量的值不是R、S、U,则为错误的值。

2.1.3 通过format来查看错误值个数

这里我们假设Res中的U是错误的值,我们可以用以下操作来实现错误值个数的观测 proc format;

value $Res 'R','S' = 'Valid'

other = 'Miscoded';

run;

proc freq data=pmlr.Develop;

format Res $Res.;

tables Res/ nocum nopercent missing;

run;

2.2 几个重要的函数

Verify: SAS的verify函数在数据处理和data clean的过程中十分有用,verify函数的第一个参数是源字符串,后续参数都是待查找字符,如果源字符串中包含的都是待查找字符,verify就返回0,否则,返回不包含字符在源字符串中的位置。由此可见,我们可以利用verify函数对字符串作非正常字符的检测,从而达到clean data的目的。

verify的语法:verify(source, chkstring1[, chkstring2, … , chkstringn]) (参考文献:

doc.guandang.net)

TRIM(s) 返回去掉字符串s的尾随空格的结果。

上一页第2页

你可能喜欢

热门文档

相关文档

  • 数据清理

    数据清理数据清理 data Cleaning 技术大全及 SAS 实现 转载请注明出处:http://blog.sina.com.cn/s/blog_5d3b177c0100esmx.html 1 简介 数据清理是数据准备一个...

  • Cody's data cleaning techniques using sas

    Cody's data cleaning techniques using sas_物理_自然科学_专业资料。SAS数据清洗技术,基本而全面,本文是是原书的读书笔记,记录的是原书的精华部分...

  • SAS软件在中国慢性病及其危险因素监测数据清理中的应用

    SAS软件在中国慢性病及其危险因素监测数据清理中的...APPLICATION OF SAS SOFTWARE IN DATA CLEANING OF ...问题的跳转规定, 可以编写相应的宏程序实现 对逻辑...

  • ETL中数据清洗技术在税务系统中的应用

    ETL 中数据清洗技术在税务系统中的应用 ETL 中数据清洗技术在税务系统中的应用 Data Cleaning Technology of ETL Tax System in the Application 王时绘 1 伍江磊...

  • 数据质量和数据清理在电信数据仓库中的应用

    Data Quality, Data Cleaning and Applying to ... 实现的以数据清理为主要功 能的数据加载(ETL)系统...没有良好的数据质量作后盾,再先进的数据处理技术和...

  • ETL中的数据清洗设计

    中的应用模型,最后通过实例说明数据清洗的具体实现. ...数据清洗 (data cleansing/data cleaning/data ...[11]指出,数据清洗实际就是利用有关技术如数 理...

  • SAS技巧(清洗、统计)

    SAS技巧(清洗、统计)_IT/计算机_专业资料。SAS 数据清洗数据清洗,即从源数据... 数据清理data Cleaning技... 14页 1下载券 数据清洗研究 5页 免费 GSM数据...

  • 《数据仓库与数据挖掘技术》第5章:数据挖掘过程

    数据清理(data cleaning), 5.3.3 数据集成(data ...技术问题 5.5.3 数据挖掘应用问题 5.5.4 实施...SAS的Enterprise Miner中包含了一个可以影射为SEMMA...

  • SAS数据仓库与数据挖掘

    ——数据仓库和数据挖掘(Data Warehouse 与 Data ...产品使全部的 SAS 技术最大限度的实现了 Web-...对源数据进行清理和整合 按计划或规则进行数据仓库的...

  • 有序数据的Meta分析方法及SAS实现_张天嵩

    的 Meta 分析方法及 SAS 实现张天嵩 ,熊茜 (上海市静安区中心医院科教部, 上海 200040 )〔摘要〕 目的 介绍有序数据的 Meta 分析方法及其在 SAS 软件的实现...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email