文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > java千万级别数据处理
侵权投诉

java千万级别数据处理

博客分类:

java千万级别数据处理

java大数据处理

一年前写过一个百万级别数据库数据生成配置xml文件的程序,程序目的是用来把数据库里面的数据生成xml文件.程序可以配置多少文件生成到一个文件中去.

程序刚开始设计的时候说的是最多百万级别数据,最多50W数据生成到一个xml文件里面去,所以在做测试的时候自己也只是造了100W的数据并没有做过多数据量的测试,然后问题就来了....由于程序使用的局点数据量巨大,需要生成xml文件的客户资料接近千万级别的程度,而现场对程序的配置大约是100W条数据生成一个xml文件里面去,程序在这样的大数据量下面偶尔会有崩溃.

最近几天现场催的比较紧,最近抽空把这个问题处理了一下,在解决问题的过程中我把解决的步骤和方法记录了下来,正好和大家共享一下

java千万级别数据处理

现场提的问题概况:

数据量:生成xml,每个文件100W+ 条的数据

内存控制:最好不要超过512M

问题详情:在处理70W左右的时候内存溢出

一、先来看一下程序要生成的xml文件的结构

第1页

热门文档

相关文档

  • java千万级别数据生成文件思路和优化

    java千万级别数据生成文件思路和优化_教学反思/汇报_教学研究_教育专区。java ...处理的 数据转移到对应的历史表中进行备份,而再个表操作的过程中使用了批处理...

  • 【转】java大数据处理(千万级别FTP下载)

    【转】java大数据处理(千万级别FTP下载)_计算机软件及应用_IT/计算机_专业资料。【转】java大数据处理(千万级别FTP下载)【转】java 大数据处理(千万级别 FTP ...

  • java千万级别数据生成文件思路和优化

    java千万级别数据生成文件思路和优化_计算机软件及应用_IT/计算机_专业资料。...处理的 数据转移到对应的历史表中进行备份,而再个表操作的过程中使用了批处理...

  • java千万级别FTP下载

    java千万级别FTP下载_计算机软件及应用_IT/计算机_专业资料。www.bj-accp.com...加载到内存中处理,或者读取 一个文件名就下载一个文件,不要把所有的数据都加载...

  • java海量数据处理方法大全

    java海量数据处理方法大全_IT/计算机_专业资料。1. 给定 a、b 两个文件,各...上千万或上亿数据(有重复),),统计其中出现次数最多的钱 个数据。 方案 1:...

  • java eeWEB缓存技术

    java 缓存技术主要是提高系统效率,比如查一张百万级,千万级的数据表,如何让响应...这个区域使用一台远程服务器处理缓存数据。这台远程缓存服务器可以被多个 JCS ...

  • java_web开发_高并发处理_-_-_ITeye技术网站

    java_web开发_高并发处理_-_-_ITeye技术网站_...需要注意一点,千万不能用使用 swap,最好关闭 linux...的事务处理缓存,它允许你缓存企业级应用数据 来更好...

  • java中的时间类的处理

    Java 语言的 Calendar,GregorianCalendar (日历),Date...这种改进旨在更好的处理日期数据的国际 化格式. ...当前的时间,然后计算出代码执行所 需的时间(微秒级...

  • java面试feedback汇总

    数据库union-join,left-join,存储过程 7)假如有一个千万级别的数据量,你怎么...15.项目中对数据库的调用处理 (加粗的是被重复提及的问题) JAVA Javascript: ...

  • 1大数据分析引导

    每天交易量千万级,每 天产生50TB的数据分析产品 物...海量数据需要及时分析和处理。[速度] ? 海量数据...Doug Cutting开创的开源软件,用java书写代码,实现与...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email