Java 开发 2.0- 用 Hadoop MapReduce 进行大数据分析
中文
登录 (或注册)
技术主题
软件下载件下载
社区
技术讲座术讲座
搜索 developerWorks
developerWorks
技术主题
Java technology
文档库
Java开发 2.0:用 Hadoop MapReduce进行大数据分析 成堆的数据如何变成信息金矿成堆的数据如何变成信息金矿 Andrew Glover,作家和开发人员, Beacon50简介: Apache Hadoop是目前分析分布式数据的首选工具,和大多数 Java 2.0技术一样,是可扩展的。从 Hadoop的 MapReduce编程建模开始,学习如何用它来分析数据,满足大大小小的商业信息需求。查看本系列更多内容标记本文!标记本文!发布日期: 2011年 4月 18日级别:中级级别:原创语言:英文创语言:访问情况 6926次浏览访问情建议:
Google在 2001年发布图像搜索功能时,只有 2.5亿索引图像,不到 10年,这个巨大的搜索功能已经可以检索超过 100亿个图像了,每分钟有 35小时的内容上传到 YouTube。据称,Twitter每天平均处理 5500万 tweet。今年早些时候,搜索功能每天记录 6亿条查询记录。这就是我们讨论大数据的意义所在。如此大规模的数据一度仅限于大企业、学校和政府机构—这些机构有能力购买昂贵的超级计算机、能够雇用员工保障其运行。今天,由于存储成本的降低和处理能力的商品化,一些小公司,甚至个人都可以存储和挖掘同样的数据,推动新一轮的应用程序创新。大数据革命技术之一是 MapReduce,一个编程模式,是 Google针对大规模、分布式数据而开发的。在本文中,我将介绍 Apache的开源 MapReduce实现,Hadoop,也有人将其称之为云计算的杀手应用程序。关于本系列从 Java技术首次亮相以来,Java开发的格局已经发生了巨大的变化。得益于成熟的开源框架和可靠的租用式部署基础设施,现在已经可以迅速经济地汇编、测试、运行和维护 Java应用程序了。在本系列中,Andrew Glover将探索使这种全新开发范例成为可能的各种技术和工具。
内容
关于 Hadoop数据,无处不在的数据!使用 opencsv进行数据解析 Hadoop的 map和 reduce定义一个 Hadoop Job编写另一个 Mapper结束语参考资料关于作者建议
关于 Hadoop Apache的 Hadoop框架本质上是一个用于分析大数据集的机制,不一定位于数据存储中。Hadoop提取出了 MapReduce的大规模数据分析引擎,更易于开发人员理解。Hadoop可以扩展到无数个节点,可以处理所有活动和相关数据存储的协调。 Hadoop的众多特性和配置使其成为一个十分有用且功能强大的框架,其用途和功能令人惊讶。Yahoo!以及其他许多组织已经找到了一个高效机制来分析成堆的字节数。在单个节点上运行 Hado
op也很容易;您所需要的只是一些需要分析的数据,以及熟悉一般的 Java代码。Hadoop也可和 Ruby、Python以及 C++一起使用。作为处理大数据集的概念框架,MapReduce对于使用许多计算机来解决分布式问题而言是高度优化的。顾名思义,这个框架由两个函数构成。map函数专用于获取大数据输入,并将其分成小片段,然后交由其他进程进行操作。reduce函数整理 map收集的各个回应,然后显示最后的输出。在 Hadoop中,您可以通过扩展 Hadoop自身的基类来定义 map和 reduce实现。实现和输入输出格式被一个指定它们的配置联系在一起。Hadoop非常适合处理包含结构数据的大型文件。Hadoop可以对输入文件进行原始解析,这一点特别有用,这样您就可以每次处理一行。定义一个 map函数实际上只是一个关于确定您从即将输入的文本行中捕获什么内容的问题。了解更多 MapReduce如果您是本系列的读者,您可能已经见过 MapReduce一两次了。在“通过 CouchDB和 Groovy的 RESTClient实现 REST”中,我介绍了 CouchDB如何利用 MapReduce进行查看,接着在“MongoDB:拥有 RDBMS特性的 NoSQL数据存储”中我再次提到 MapReduce,处理 MongoDB文档的机制。
回页首
数据,无处不在的数据!据,无不在的数 美国政府产生大量数据,只有一部分是普通民众所感兴趣的。各种政府机构免费发布关于 US经济健康状况和更改社会人口统计资料的数据。U.S. Geological Survey (USGS)发布国内外地震数据。世界各地每天都有很多个小型地震发生。其中大多数发生在地壳深处,没有人能感觉到,尽管如此,但是监听站仍然会进行记录。 USGS以 CSV(或逗号分隔值)文件的格式发布每周地震数据。每周文件平均不是很大—只有大约 100 KB左右。但是,它可以作为学习 Hadoop的基础。记住,Hadoop有能力处理更大的数据集。
跟踪震动 我近期从 USGS网站下载的 CSV文件有大约 920多行。如清单 1所示:
清单 1.清单 1.一个 USGS地震数据文件的行数统计地震数据文件的行数 $> wc -l eqs7day-M1.txt 920 eqs7day-M1.txt
CVS文件内容如清单 2所示(这是前两行):
清单 2.清单 2. CVS文件的前两行文件的前两 $> head -n 2 eqs7day-M1.txt Src,Eqid,Version,Datetime,Lat,Lon,Magnitude,Depth,NST,Region ci,14896484,2,"Sunday, December 12, 2010 23:23:20 UTC",33.3040,-116.4130,1.0,11.70,22,"Southern California"
这就是我称之为信息丰富的文件,尤其是当您想到它总共有 920行记录时。然而我只想知道在该文件报告的这一周内每一天有多少次地震发生。我想知道在这 7天内哪个区域是地震频发区。我第一个想到的就是使用简单的 grep命令来搜索
每天的地震数。看看这个文件,我发现数据记录是从 12月 12开始的。因此我对该字符串执行了一次 grep -c,其结果如清单 3所示:


Java 开发 2.0- 用 Hadoop MapReduce 进行大数据分析_计算机软件及应用_IT/计算机_专业资料。今日推荐 157份文档 2015国家公务员考试备战攻略...
hadoop开发实战培训34 - MapReduce高阶实现(8)_...Hadoop大数据解决方案进阶应用 MapReduce高阶实现 (8...计数器的默认名称是枚举类型的Java完全限定类名,可读...
样本数据 ? 本地测试 ? 上传数据到HDFS 实例3:用PYTHON实现查找最高温度 Java与Streaming编程方式比较 ? Java编程 ? Hadoop最原始开发语言 ? 支持所有功能,是...
hadoop开发视频教程33 - MapReduce高阶实现(7)_工学_高等教育_教育专区。北风...数据本地/机架本地/其他本地的map任务 用户定义的Java计数器 ? MapReduce允许...
Hadoop应用开发实战24 - MapReduce多语言编程(3)_理学_高等教育_教育专区。...可实现Mapper和Reducer,其他组件(InputFormat、 Partitioner等需要用Java语言实现) ...
Java 开发 2.0- 用 Hadoop... 6页 免费 MapReduce超大机群上的简单... ... +86-10-62562563 大数据分析——RDBMS 与 MapReduce 的竞争与共生覃雄派 1,...
大数据分析之Hadoop工具应用_计算机软件及应用_IT/计算机_专业资料。这是一份... 8页 免费 Java 开发 2.0- 用 Hado... 6页 免费喜欢此文档的还喜欢...
大数据分析——关系数据库... 14页 免费 Java 开发 2.0- 用 Hadoop... ... MapReduce是一个编程模型,和处理,产生大数据集的相关实现。用户指定一个map...
Hadoop MapReduce集群模式... 12页 2财富值 Java 开发 2.0- 用 Hadoop.....可以将 SQL 语句转换为 MapReduce 任务运行,十分适合数据仓 库的统计分析。 不...
热门文档