文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 兵器/核科学 > 在Hadoop集群下的智能电网数据云仓库设计_郑柏恒
侵权投诉

在Hadoop集群下的智能电网数据云仓库设计_郑柏恒

在Hadoop集群下的智能电网数据云仓库设计

Research on data storage for smart grid based on hadoop

郑柏恒1,孟 文1,易 东2,梁晓波1

ZHENG Bo-heng1, MENG Wen1, YI Dong2, LIANG Xiao-bo1

(1.西南交通大学 机械工程学院,成都 610031;2.西南交通大学 电气工程学院,成都 610031)摘 要:针对电网数据规模大、类型多、价值密度小、变化速度快、地理位置离散的特点,为了对这些

数据进行有效、可靠、低廉地存储以及快速地访问与分析,满足智能电网运行、检修、效益管理等应用的需求,提出了在Hadoop廉价PC机集群下的智能电网数据云仓库的解决方案,为挖掘海量电网数据提供有效、可靠、低廉的工具。首先分析了电网大数据的特点,再结合IEC61970标准通用信息模型的特点,基于Hadoop框架,设计出满足电网大数据处理需求的电力信息云仓库。最后通过以调度系统使用云仓库为例,测试云仓库的性能,证明了电力信息云仓库在应用上具有高效、可靠、廉价的优势。

关键词:Hadoop;云计算;Hbase;智能电网;IEC61970中图分类号:TP393 文献标识码:A 文章编号:1009-0134(2014)10(上)-0134-05Doi:10.3969/j.issn.1009-0134.2014.10(上).39

0 引言

智能电网是电网的智能化,通过将信息技术、通信技术、计算机技术与原有的电网高度紧密地集合到一起的新型电网,实现电网的可靠、安全、经济、高效、环境友好和使用安全的目标。但是随着电网智能化的不断提高,其数据量也随之以指数级的增长。面对这海量数据的存储的难题,国内已有电力调度系统的建设大多采用常规的解决方案,即采用昂贵的大型服务器为基础,通过传统的关系数据库的方式管理,并且以数据库分片的方式存放到磁盘阵列中的形式[1]。这导致系统的扩展升级较为困难,费用十分高昂,且整个系统模块间耦合性较强,难以满足电网智能化所要求的高效、可靠、经济的目标[2]。

云存储能够解决智能电网对海量数据的存储的难题,最大限度地整合系统的存储能力,减少电网智能化的成本,大幅提高当前系统的整体性能,对智能电网的发展起到巨大的推动作用。云计算虽然在智能电网方面未见成型的系统[3,4],但已经在其他领域得到了大量的应用[7,8],而且智能电网方面的云计算系统也在架构设计开发阶段了[9],但是Hadoop集群在处理电网大数据上具有巨大的优势[1,12]。

个分布式系统基础架构,可以使用户充分利用集群的威力高速运算和存储,具有可靠的数据存储和处理能力、易于扩展的计算机集群、以高容错性的多数据副本、以软件开源及廉价计算机集群带来的低成本等优势,正成为信息领域研究的热点。

HBase (Hadoop Database),是一个在HDFS系统基础上的高可靠性、高性能、面向列、可伸缩的分布式NoSQL数据库,是谷歌公司BigTable技术的开源项目[15],利用HBase技术可在廉价PC服务器集群上搭建起大规模非关系结构化快速读写的存储仓库。

MapReduce作为并行处理大数据集的软件框架,在Hadoop上得到了实现[7]。它负责分配工作以及与用户程序进行通信,通过把对数据集的大规模操作分发给网络上的每个节点上,实现数据的分布式处理。

2 智能电网数据云存储系统设计

智能电网环境下电力数据具有:规模大、类型多、价值密度低和变化快的特点[5],按照数据的产生源大致分为三类:一是电网运行和设备检测或监测数据;二是电力企业营销数据,如交易电价、售电量、用电客户等方面的数据;三是电力企业管理数据[5]。因此随着时间的增长,存储电网数据所需的空间将越来越大,同理在查询数据时

1 Hadoop概述

Hadoop作为一个开源的云计算基础框架,一

收稿日期:2014-05-25

作者简介:郑柏恒(1990 -),男,广东顺德人,硕士研究生,研究方向为智能化光机电一体化系统监测与控制、网络 化监控及智能信息处理。【134】 第36卷 第10期

在Hadoop集群下的智能电网数据云仓库设计_郑柏恒

2014-10(上)

第1页

热门文档

相关文档

  • 【论文】基于Hadoop的智能电网数据安全存储设计

    第4 1卷第1 4期 2013年7 月1 6日 电力系统保护与控制 Power System Protection and Control Vo1.41 NO.14 July 16,2013 基于 Hadoo p的智能 电网数据...

  • 基于Hadoop的智能电网状态监测数据存储

    基于Hadoop的智能电网状态监测数据存储_信息与通信_工程科技_专业资料 暂无评价

  • 【论文】基于Hadoop的智能电网状态监测数据存储研究

    第4 O卷第l期 201 3年 1月 计 算 机 科 学 Vo1.40 No.1 Computer Science Jan 2013 基于Hadoo p的智能电 网状 态监测数 据存 储研究 刘 树仁 宋 ...

  • 智能电网云存储

    但是,目前的电力数据中心还远未达到智能电网与 新一...将集群内 的物理存储资源无缝整合为统一的虚拟存储...基于Hadoop分布式文件系统(HDFS) 提供的容错机制实现...

  • hadoop集群设计

    Hadoop 集群设计 修订记录 修订章节 修订时间 备注 1 功能描述 Hadoop 集群的安装、卸载、启动、监控、停止、添加节点、删除节点等功 能。 2 设计原则大数据部署...

  • 云计算Hadoop:快速部署Hadoop集群

    云计算Hadoop:快速部署Hadoop集群_IT/计算机_专业...它的设计核心是 MapReduce 实现和 HDFS (Hadoop ... 英特尔大数据构建智能医... 面对网络和数据的需求...

  • 基于Hadoop的海量数据处理平台研究_丁辉

    2011 电力通信管理暨智能电网通信技术论坛论文集 基于...Hadoop 集群是典型的 master/slaves 结构,NameNode ...海量数据处理平台技术架构本文设计的海量数据处理原型...

  • 基于Hadoop数据分析系统设计(优秀毕业设计)

    为了分析网站的日志,部署了一套 Oracle 数据库系统,将所有的日志信息都导 入...? 采用 Hadoop 集群劣势: 1. 采用单 master 的设计,单 master 的设计极大地...

  • Hadoop云计算平台搭建最详细过程(共22页)

    以上为 hadoop 完全分布式集群配置 以上过程为由三台...的项目,基于 Hadoop 平台设计和开发的算法工具库。 ... 英特尔大数据构建智能医... 面对网络和数据的需求...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email