如何利用Java高效读取大文件

在内存中读取 读取文件行的标准方式是在内存中读取,Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法:

Files.readLines(new File(path), Charsets.UTF_8);FileUtils.readLines(new File(path));

这种方法带来的问题是文件的所有行都被存放在内存中,当文件足够大时很快就会导致程序抛出OutOfMemoryError 异常。 读取一个大约1G的文件

() throws IOException {String path = “…”;Files.readLines(new File(path), Charsets.UTF_8);}

这种方式刚开始只占用了很少量的内存,然而,当文件全部读入内存后,我们可以看到,占用了大量的内存(约2个G)

[main] INFO org- Total Memory: 2666 Mb[main] INFO org- Free Memory: 490 Mb

这意味着这一过程消耗了大约2.1G的内存,因为文件的所有行都被存储在了内存中,把文件所有的内容都放在内存中很快会耗尽可用内存——不论实际可用内存有多大,这点是显而易见的。 此外,我们通常不需要把文件的所有行一次性地放入内存中——相反,我们只需要遍历文件的每一行,然后做相应的处理,处理完之后把它扔掉。所以,这正是我们将要做的——通过行迭代,而不是把所有行都放在内存中。 文件流 现在我们来看看下面这种解决方法,我们用Java.util.Scanner 扫描文件的每一行,,一行一行连续的读取:

FileInputStream inputStream = null;Scanner sc = null;try {inputStream = new FileInputStream(path);sc = new Scanner(inputStream, “UTF-8”);while (sc.hasNextLine()) {String line = sc.nextLine();// System.out.println(line);}// note that Scanner suppresses exceptionsif (sc.ioException() != null) {throw sc.ioException();}} finally {if (inputStream != null) {inputStream.close();}if (sc != null) {sc.close();}}

这种方案会遍历文件中的所有行,允许对每一行进行处理,而不保持对它的引用,总之没有把他们存放在内存中,我们可以看到,大约消耗了150MB内存。

[main] INFO org- Total Memory: 763 Mb[main] INFO org- Free Memory: 605 Mb

Apache Commons IO流 同样可以使用Commons IO流,利用该库提供的自定义 LineIterator类:

LineIterator it = FileUtils.lineIterator(theFile, “UTF-8”);try {while (it.hasNext()) {String line = it.nextLine();// do something with line}} finally {LineIterator.closeQuietly(it);}

同样也消耗了相当少的内存,大约150M:

[main] INFO o- Total Memory: 752 Mb[main] INFO o- Free Memory: 564 Mb

环境不会改变,解决之道在于改变自己。

如何利用Java高效读取大文件

相关文章:

你感兴趣的文章:

标签云: