MapReduce中使用字符串拼接导致的问题 Home » 编程开发 » MapReduce中使用字符串拼接导致的问题 今天在帮业务方优化mapreduce作业时遇到一个用字符串拼接的问题。 reduce中字符串拼接代码: whi … 阅读更多
hive 用户手册和map参数调整 Home » 编程开发 » hive 用户手册和map参数调整 map/reduce简单的原理介绍 Hadoop Map/Reduce框架为每一个InputSplit产生一个 … 阅读更多
hadoop异常之 reduce拉取数据失败 (error in shuffle in fetche Home » 编程开发 » hadoop异常之 reduce拉取数据失败 (error in shuffle in fetche 主要错误信息:Error: org.apache.hadoop.mapreduce.task.reduce.S … 阅读更多
hadoop join之reduce side join Home » 编程开发 » hadoop join之reduce side join 在介绍这个实例之前,请各位参考:。 reduce side join是一种最简单的join方式,其主要思想如下 … 阅读更多
hadoop调优之一:概述 Home » 编程开发 » hadoop调优之一:概述 hadoop集群性能低下的常见原因 (一)硬件环境 1、CPU/内存不足,或未充分利用 2、网络原因 3、磁盘 … 阅读更多
一次因为数据问题引起的reduce被卡住streaming作业问题排查 Home » 编程开发 » 一次因为数据问题引起的reduce被卡住streaming作业问题排查 广告产品技术部有一个作业总是卡在某个reduce上,运行了好几个小时也运行不完,经过他们初步排查找不着问题原因 … 阅读更多
【BZOJ 1345】 [Baltic2007]序列问题Sequence Home » 编程开发 » 【BZOJ 1345】 [Baltic2007]序列问题Sequence 对于一个给定的序列a1, …, an,我们对它进行一个操作reduce(i),该操作将数列中的元素ai和ai& … 阅读更多
关于map task、reduce task和hdfs块大小的理解 Home » 编程开发 » 关于map task、reduce task和hdfs块大小的理解 map task的数量由输入文件总大小和分片大小确定;reduce task的数量需要手动设定,如果没有设定, … 阅读更多