2021-08-27 第7章 MapReduce工作机制 MapReduceYARN 《Hadoop权威指南》读书笔记 在前面章节,我们简单了解了YARN的工作机制,这一章将详细介绍介绍MapReduce是怎么运行 MapReduce YARN的工作机制? 结合上图来学习一下每个步骤: 首先是提交作业,直接调用 Job 对象的 submit() 即可,他
2021-08-26 第4章 关于YARN YARN 《Hadoop权威指南》读书笔记 首先YARN是什么? 在Hadoop1.0的时候,MapReduce的JobTracker负责了太多工作,接收任务是它,资源调度是它,监控TaskTracker还是它,显然不合理所以在hadoop2.0的时候就把资源调度的任务分离出来,让Y
2021-08-26 第3章 关于HDFS HDFS 《Hadoop权威指南》读书笔记 为什么要用HDFS,优点和缺点是什么? 首先说一下优点: 可以存超大文件 一次写入,多次读取 可运行在廉价集群上,一个节点坏了还能继续运行 然后是缺点: 不能低延迟时间的访问:HDFS是为了高吞吐优化的,如果要低延迟可以用HBas
2021-08-25 第2章 关于MapReduce MapReduce 《Hadoop权威指南》读书笔记 Map和Reduce分别是什么? MapReduce任务过程分为两个阶段,分别是Map和Reduce,即程序员实现Mapper和Reducer两个接口 什么是Map,就是拆,把拼好的乐高汽车玩具拆成一块块积木,每个积木都是一个<Ke