Hadoop的分布式缓存DistributedCache使用方法

本人hadoop使用环境:

在本机用Eclipse插件连接到实验室服务器上运行的。

下面说下分布式缓存的使用方法:

首先,你要在你的main()函数里面添加分布式缓存文件:

//将矩阵A作为分布式缓存

DistributedCache.addCacheFile(new URI("hdfs://1.1.2.1:9000/user/1M_A/Atest.txt"), comW.getConfiguration());

至此,你已经告诉了hadoop你有个缓存文件叫Atest.txt

然后在map端的setup()函数中:

//从分布式缓存中读取矩阵A

//注意:此处使用的是getCacheFiles(),我不明白网上很多人为什么使用getLocalCacheFile,,费解

URI[] caches = DistributedCache.getCacheFiles(con.getConfiguration());//然后就是正常的输入FileSystem fs = FileSystem.get(caches[0] , con.getConfiguration());InputStream in = fs.open(new Path(caches[0]));Scanner input_A = new Scanner(in);Atest = input_A.next();

到此结束。

PS:在网上查阅资料的时候,会碰到许多种解决办法,但是每个人的实际操作环境不同,不同的解决方案又不一样的效果。

bless

如果你希望成功,以恒心为良友,以经验为参谋,以小心为兄弟,以希望为哨兵。

Hadoop的分布式缓存DistributedCache使用方法

相关文章:

你感兴趣的文章:

标签云: