2021-09-24 剖析HDFS/MR小文件与数据倾斜问题 HDFSMapReduce 《拿来就用的企业级解决方案》课程笔记 什么是小文件问题? HDFS上如果小文件很多,每个小文件都会在NameNode中占用150字节的内存空间 而在MR中每个小文件都会占一个block,每个block都会产生数据分片对应一个Map任务,导致Map任务特别多,消耗了很多启动Map