博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Java使用内存映射实现大文件的上传
阅读量:4930 次
发布时间:2019-06-11

本文共 5596 字,大约阅读时间需要 18 分钟。

在处理大文件时,如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作,都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。

package test;  import java.io.BufferedInputStream;  import java.io.FileInputStream;  import java.io.FileNotFoundException;  import java.io.IOException;  import java.io.RandomAccessFile;  import java.nio.MappedByteBuffer;  import java.nio.channels.FileChannel;  public class Test {      public static void main(String[] args) {          try {              FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");              int sum=0;              int n;              long t1=System.currentTimeMillis();              try {                  while((n=fis.read())>=0){                      sum+=n;                  }              } catch (IOException e) {                  // TODO Auto-generated catch block                  e.printStackTrace();              }              long t=System.currentTimeMillis()-t1;              System.out.println("sum:"+sum+"  time:"+t);          } catch (FileNotFoundException e) {              // TODO Auto-generated catch block              e.printStackTrace();          }          try {              FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");              BufferedInputStream bis=new BufferedInputStream(fis);              int sum=0;              int n;              long t1=System.currentTimeMillis();              try {                  while((n=bis.read())>=0){                      sum+=n;                  }              } catch (IOException e) {                  // TODO Auto-generated catch block                  e.printStackTrace();              }              long t=System.currentTimeMillis()-t1;              System.out.println("sum:"+sum+"  time:"+t);          } catch (FileNotFoundException e) {              // TODO Auto-generated catch block              e.printStackTrace();          }          MappedByteBuffer buffer=null;          try {              buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);              int sum=0;              int n;              long t1=System.currentTimeMillis();              for(int i=0;i<1253244;i++){                  n=0x000000ff&buffer.get(i);                  sum+=n;              }              long t=System.currentTimeMillis()-t1;              System.out.println("sum:"+sum+"  time:"+t);          } catch (FileNotFoundException e) {              // TODO Auto-generated catch block              e.printStackTrace();          } catch (IOException e) {              // TODO Auto-generated catch block              e.printStackTrace();          }      }  }

测试文件为一个大小为1253244字节的文件。测试结果:

sum:220152087 time:1464  sum:220152087 time:72  sum:220152087 time:25 说明读数据无误。删去其中的数据处理部分。
import java.io.BufferedInputStream;  import java.io.FileInputStream;  import java.io.FileNotFoundException;  import java.io.IOException;  import java.io.RandomAccessFile;  import java.nio.MappedByteBuffer;  import java.nio.channels.FileChannel;  public class Test {      public static void main(String[] args) {          try {              FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");              int sum=0;              int n;              long t1=System.currentTimeMillis();              try {                  while((n=fis.read())>=0){                      //sum+=n;                  }              } catch (IOException e) {                  // TODO Auto-generated catch block                  e.printStackTrace();              }              long t=System.currentTimeMillis()-t1;              System.out.println("sum:"+sum+"  time:"+t);          } catch (FileNotFoundException e) {              // TODO Auto-generated catch block              e.printStackTrace();          }          try {              FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");              BufferedInputStream bis=new BufferedInputStream(fis);              int sum=0;              int n;              long t1=System.currentTimeMillis();              try {                  while((n=bis.read())>=0){                      //sum+=n;                  }              } catch (IOException e) {                  // TODO Auto-generated catch block                  e.printStackTrace();              }              long t=System.currentTimeMillis()-t1;              System.out.println("sum:"+sum+"  time:"+t);          } catch (FileNotFoundException e) {              // TODO Auto-generated catch block              e.printStackTrace();          }          MappedByteBuffer buffer=null;          try {              buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);              int sum=0;              int n;              long t1=System.currentTimeMillis();              for(int i=0;i<1253244;i++){                  //n=0x000000ff&buffer.get(i);                  //sum+=n;              }              long t=System.currentTimeMillis()-t1;              System.out.println("sum:"+sum+"  time:"+t);          } catch (FileNotFoundException e) {              // TODO Auto-generated catch block              e.printStackTrace();          } catch (IOException e) {              // TODO Auto-generated catch block              e.printStackTrace();          }      }  }

测试结果:

sum:0 time:1458  sum:0 time:67  sum:0 time:8

由此可见,将文件部分或者全部映射到内存后进行读写,速度将提高很多。

这是因为内存映射文件首先将外存上的文件映射到内存中的一块连续区域,被当成一个字节数组进行处理,读写操作直接对内存进行操作,而后再将内存区域重新映射到外存文件,这就节省了中间频繁的对外存进行读写的时间,大大降低了读写时间。

转载于:https://www.cnblogs.com/MarchThree/p/4222625.html

你可能感兴趣的文章
vue2 cdn 加载html,vue项目中使用CDN加载
查看>>
数组转集合踩坑
查看>>
node.js的异步I/O、事件驱动、单线程
查看>>
vue cli3 子目录问题
查看>>
github.com访问慢解决
查看>>
微服务架构最强详解
查看>>
转:哈夫曼树详解
查看>>
面试问题之计算机网络:简述TCP和UDP的区别以及优缺点
查看>>
面试问题之C++语言:C与C++的区别
查看>>
.Net Core Identity外面使用Cookie中间件
查看>>
【坐在马桶上看算法】算法1:最快最简单的排序——桶排序
查看>>
C#中泛型之Dictionary
查看>>
强连通分量
查看>>
Linux 入门 bash语句 第三课
查看>>
LeetCode 27. 移除元素
查看>>
【原创】phpcms v9 0day
查看>>
杂谈SharpDx中的WIC组件——我们需要WIC的图片编码功能么?
查看>>
移动端弹性盒
查看>>
觉得比较重要的一张触发器的图,高手跳过哈!
查看>>
JAVA中使用jcifs集成AD域用户认证
查看>>