你是否曾经想过《纽约时报》网站的读者会涵盖什么类型的人?我们想过。我们还在想他们倾向于在一天之中的什么时候来访问网站,使用什么工具访问以及他们都来自哪里?从他们是谁到在什么时候、以什么方式以及为什么等,所有这些问题都在我们的思考范围之内。
C v r t r封面报道 I o e oy S海量数据
数据可视化之美
《纽约时报的一天
■文/ c a l o n,N c io译/ Mih e Y u g ikB l n t祝洪凯,李妹芳
你是否曾经想过纽约时报网站的读者会 2 0万。这意味着,在任何一天We站点和手机 00 b涵盖什么类型的人?我们想过。我们还在想他们站点上都有几百万次的页面浏览 (或点击 ); 倾向于在一天之中的什么时候来访问网站,使用这是我们准备为可视化收集的基础数据。 什么工具访问以及他们都来自哪里?从他们是谁到在什么时候、以什么方式以及为什么等,所有这些问题都在我们的思考范围之内。 本文将要介绍的这个可视化项目源于在 对于可视化以及其他日志数据的分析,我们
数据清洗
b纽约时报》研发试验室一次午餐时就这个话只对来自人们的在We站点和手机站点的点击数题开展的一次简单讨论。正如你将看到的,从感兴趣——而不是来自刚络爬虫、机器人或抓取非常简单的基于地理的数据集合开始,很快就程序。为了过滤这些不必要的数据,我们实现了深入到海量数据和潜在可视化。最终,我们创 一
段Jv代码用于识别出非人工的访问 E志井将 aa l
建了一个可视化用于显示每天纽约时报》We其从日志中删除。 b每天We站点原始的日志数据访问量大约有 b站点和手机站点在世界和美国的流量。 50 0 MB~70 0MB (压缩格式 ),手机站点的访问
收集一些数据
量约8MB~10 0 0 MB (缩格式 )。在数据清洗过 压
程中,我们执行了I到经纬度的转换,从而得到 P为了对We站点和手机站点2/时的流量每个访问用户的精确位置。原始访问日志中已经 b 4] ̄
进行可视化,我们需要创建一个可以从《纽约包含了用户的I地址,然后我们使用商业数据库 P 时报》的访问日志中抽取和清洗数据的程序。 考虑到我们想要创建一个可以显示在一天内网站的访问次数的可视化并且是一个基于地理信息进行展示的可视化,我们需要的数据包括: 把l转换成地理位置信息。有很多公司提供 G oP P eI (位置I)数据库,用于实现该转换。地理 P 一
旦数据被清洗完毕并准确地进行了地理位
置编码,只需要对数据再做
最后轮处理。由于
-在2小时内,用户每次访问We站点或手原始的访问日志的收集、存储和清理方式,新清 4 b机站点的时间戳。 洗完的数据是存放在多个文件中的,需要对它们
-每个用户每次访问时所处位置的经度和排序之后合并到一个结果文件中去,该文件将包纬度。 原始的访问日志包含了人们访问We站点 b 含可视化所需的数据,即一天访问数据。
每天“清洗”后的网站 F志数据被存储到 1
和手机站点的很多有用的信息 (比如每个访问 30文件中,每个文件大小约3 MB 0 6个 0 -4 MB (压者使用什么浏览器 );但其中有很多信息对我缩格式 )。由于每行中增加了一‘额外的字段,些 们而言是没有用的,因此需要把它们从日志信 ̄Ge I 1 oP信息,“] 清洗”后的日志文件要大于原息中过滤掉。此外,日志中并不包括每个用户始文件。手机站点数据集小得多,因此清洗后每次访问时的经纬度信息,因此这是我们在日 志“清洗”过程中需要添加的信息。 的数据存储在一个文件中,大约7 MB ( 0压缩格式)。我们每天需要整理当天的每个清洗后的日
纽约时报》We站点月独立访问读者约志文件,并创建按照对we站点和手机站点的访 b b

数据可视化之美--《纽约时报》的一天.pdf_互联网_IT/计算机_专业资料。数据可视化之美——《纽约时报》的一天文 / Michael Young,Nick Bilton 译 / 祝洪凯,李...
数据可视化之美 [平装]_IT/计算机_专业资料。内容简介 《数据可视化之美》...《纽约时报》的一天 260 Michael Young 和 Nick Bilton 260 收集一些数据 261 ...
大数据可视化之美_互联网_IT/计算机_专业资料。大数据可视化之美 云计算和虚拟化技术的不断发展使得大数据在应用层面更加丰富, 再加以数据可视化, 这样 的大数据...
数据可视化之美_互联网_IT/计算机_专业资料。本文档主要介绍两部分内容:首先是介绍作为设计师需要掌握哪些技能、方式与方法。其次是探讨大数据的可视化设计,过程与...
发现数据应用之美:数据可视化传播与应用——沈浩:中国传媒大学教授_IT168文库_互联网_IT/计算机_专业资料。2013中国系统架构师大会是由国内领先的IT专业网站IT168...
发现数据应用之美:数据可视化传播与应用——沈浩:中国传媒大学教授_哲学/历史_人文社科_专业资料。发现数据应用之美——数据可视化传播与应用沈浩 博士 中国传媒大学...
【数据之美】微博网络数据可视化(多种美好大图缤纷呈现)来源: 刘永磊的日志 昨天在微博上看见这个@社会网络与数据挖掘,转几张图 以飨观众。。。 作为一个对见过...
数据可视化之美——《纽约... 暂无评价 6页 2.00元 2009考研英语阅读题源(... 纽约时报1 隐藏>> ?一张另纸签证背后的中印主权之争 更新时间:2013-11-23...
可视化是利用计算机图形学和 皮皮课件 如何追求可视化的美美观 ? 新颖 充实高效 美皮皮课件 形色 首先,将数据进行图形化构建 是实现可视化之美的必要要素,合 理利...
二维数据可视化第1题画出 y1 = sin( x) , y2 = cos( x) 在 x ∈ [?π , π ] 上的曲线,如图:两两两两两两两两 1 y1=sin(x) 0.5 y2=cos(x...
热门文档