Hadoop源代码分析 第二版（修订版）

Hadoop源代码分析 第二版（修订版）
作者：张鑫 著
出版时间：2014年版
丛编项： 深入云计算
内容简介
　　本书是一本全面细致介绍和分析Hadoop源码和内部工作机理的技术书籍，通过对Hadoop内部源码详细透彻的解析，使读者能够快速高效地掌握Hadoop的内部工作机制，了解Hadoop内部源码架构，对Hadoop有更加深刻的认识。
　　本书主要对Hadoop最核心的部分：HDFS和MapReduce进行源码解析和说明。适合所有想全面学习Hadoop开发技术的人员阅读，也适用于使用Hadoop进行开发的工程技术人员，还可作为想深入了解Hadoop运行机制、源代码的开发人员的参考书籍。
目　　录
第1篇 Hadoop概述与安装
第1章 Hadoop的简介和安装
1.1 Hadoop的简介
1.1.1 分布式文件系统HDFS
1.1.2 并行计算模型MapReduce
1.2 Hadoop的安装
1.2.1 虚拟机以及Ubuntu的安装
1.2.2 创建Hadoop用户
1.2.3 JDK1.6的安装
1.2.4 SSH的配置
1.2.5 单机模式下Hadoop的安装
1.2.6 伪分布式模式下Hadoop的安装
1.2.7 分布式模式下Hadoop的安装
第2篇 HDFS分布式文件系统及IO模型
第2章 HDFS架构和分布式文件系统
2.1 分布式文件系统概述
2.2 HDFS的特点
2.3 HDFS文件系统架构
2.4 Hadoop的抽象文件系统模型
2.4.1 FileSystem抽象文件系统
2.4.2 FileStatus文件状态信息
2.4.3 FsPermission文件或目录的操作权限
2.4.4 FileSystem的实现类
2.4.5 FileSystem的输入流
2.4.6 FileSystem的输出流
2.5 小结
第3章 Hadoop分布式文件系统HDFS的具体实现
3.1 DistributedFileSystem分布式文件系统
3.2 DFSClient HDFS客户端
3.3 小结
第4章 NameNode的实现
4.1 INode抽象类
4.2 INodeDirectory目录
4.3 INodeFile文件
4.4 FSDirectory文件系统目录
4.5 FSEditLog文件系统的编辑日志
4.6 FSImage文件系统镜像
4.7 Host2NodesMap主机到DataNode的映射
4.8 NetworkTopology网络拓扑结构
4.9 HostsFileReader主机文件读取器
4.10 BlocksMap 数据块到其元数据的映射
4.11 FSNamesystem HDFS文件系统的命名空间
4.12 NameNode名称结点
4.13 小结
第5章 Datanode的实现
5.1 Block数据块
5.2 DatanodeID类
5.3 DatanodeInfo类
5.4 BlockSender数据块发送器
5.5 BlockReceiver数据块接收器
5.6 DataBlockScanner数据块扫描器
5.7 FSDataset Datanode数据集合
5.8 DataXceiverServer
5.9 DataXceiver
5.10 Datanode类
5.11 小结
第6章 Hadoop的IO
6.1 数据类型接口
6.1.1 Writable接口
6.1.2 Comparable接口
6.1.3 WritableComparable接口
6.1.4 RawComparator比较器接口
6.1.5 WritableComparator接口
6.2 基本数据类型
6.2.1 IntWritable整型类型
6.2.2 Text文本类型
6.2.3 NullWritable类
6.2.4 ObjectWritable类
6.3 文件类型
6.3.1 SequenceFile序列文件
6.3.2 MapFile映射文件
6.4 小结
第3篇 MapReduce计算框架及RPC通信模型
第7章 MapReduce的输入和输出
7.1 输入格式InputFormat
7.1.1 InputFormat抽象类
7.1.2 FileInputFormat文件输入格式
7.1.3 TextInputFormat文本文件输入格式
7.1.4 KeyValueTextInputFormat键值对文件输入格式
7.1.5 CombineFileInputFormat组合文件输入格式
7.1.6 SequenceFileInputFormat序列文件输入格式
7.1.7 DBInputFormat数据库输入格式
7.1.8 MultipleInputs多种输入格式
7.1.9 DelegatingInputFormat授权输入格式
7.2 输入分片InputSplit
7.2.1 FileSplit文件输入分片
7.2.2 CombineFileSplit多文件输入分片
7.2.3 DBInputSplit数据库输入分片
7.3 记录读取器RecordReader
7.3.1 LineRecordReader行记录读取器
7.3.2 KeyValueLineRecordReader键值对记录读取器
7.3.3 CombineFileRecordReader组合文件记录读取器
7.3.4 SequenceFileRecordReader序列文件记录读取器
7.3.5 SequenceFileAsTextRecordReader和SequenceFileAsBinaryRecordReader
7.3.6 DBRecordReader数据库记录读取器
7.4 输出格式OutputFormat
7.4.1 OutputFormat抽象类
7.4.2 FileOutputFormat文件输出格式
7.4.3 TextOutputFormat文本格式的文件输出格式
7.4.4 SequenceFileOutputFormat普通序列文件输出格式
7.4.5 SequenceFileAsBinaryOutputFormat二进制序列文件输出格式
7.4.6 FilterOutputFormat过滤器输出格式
7.4.7 DBOutputFormat数据库输出格式
7.4.8 MultipleOutputs多种输出格式
7.5 记录写入器RecordWriter
7.5.1 DBRecordWriter数据库记录写入器
7.5.2 FilterRecordWriter过滤器记录写入器
7.5.3 LineRecordWriter 文本行记录写入器
7.6 输出提交器OutputCommitter
7.6.1 OutputCommitter输出提交器
7.6.2 FileOutputCommitter文件输出提交器
7.7 小结
第8章 Hadoop中的Context和ID
8.1 Hadoop运行过程中的Context上下文
8.1.1 JobContext作业上下文
8.1.2 Job作业
8.1.3 TaskAttemptContext任务尝试上下文
8.1.4 TaskInputOutputContext任务输入输出上下文
8.1.5 MapContext Mapper执行的上下文
8.1.6 ReduceContext Reducer执行的上下文
8.2 Hadoop运行过程中的ID类
8.2.1 ID类
8.2.2 JobID作业ID
8.2.3 TaskID任务ID
8.2.4 TaskAttemptID任务尝试ID
8.3 小结
第9章 Hadoop的计算模型MapReduce
9.1 Map处理过程
9.1.1 Mapper概述
9.1.2 Mapper源代码分析
9.1.3 InverseMapper反转Mapper
9.1.4 TokenCounterMapper标记计数Mapper
9.1.5 MultithreadedMapper多线程Mapper
9.1.6 FieldSelectionMapper字段选择Mapper
9.1.7 DelegatingMapper授权Mapper
9.2 Reducer处理过程
9.2.1 Reducer概述
9.2.2 Reducer源代码
9.2.3 IntSumReducer和LongSumReducer
9.2.4 FieldSelectionReducer字段选择Reducer
9.3 Partitioner分区处理过程
9.3.1 Partitioner概述
9.3.2 Partitioner源代码
9.3.3 HashPartitioner hash分区
9.3.4 BinaryPartitioner二进制分区
9.3.5 KeyFieldBasedPartitioner基于键字段的分区
9.3.6 TotalOrderPartitioner全排序分区
9.4 小结
第10章 JobClient的执行过程分析
10.1 MapReduce作业处理过程概述
10.1.1 JobConf MapReduce作业的配置信息
10.1.2 JobSubmissionProtocol作业提交的接口
10.1.3 RunningJob正在运行的Job作业的接口
10.1.4 JobStatus和JobProfile作业状态信息和注册信息
10.1.5 JobSubmissionFiles 获得作业提交的文件
10.2 JobClient提交作业流程
10.3 JobClient 提交Job的客户端
10.4 小结
第11章 JobTracker的执行过程分析
11.1 JobTracker处理过程概述
11.2 JobInfo作业信息
11.3 Counters计数器
11.4 Queue Job队列对象
11.5 QueueManager Job队列管理对象
11.6 JobInProgress正在处理的作业
11.7 JobTracker对JobClient提交的作业的处理
11.8 JobTracker的启动以及Job的初始化
11.9 JobTracker的其他源代码分析
11.10 JobTracker中的作业恢复管理器RecoveryManager
11.11 JobInProgressListener和JobQueueJobInProgressListener
11.12 小结
第12章 Hadoop的作业调度器
12.1 Hadoop作业调度器概述
12.2 TaskScheduler调度器的抽象父类
12.3 JobQueueTaskScheduler FIFO调度器
12.4 LimitTasksPerJobTaskScheduler任务数限制FIFO调度器
12.5 CapacityTaskScheduler计算能力调度器
12.6 FairScheduler公平调度器
12.7 小结
第13章 TaskTracker的执行过程
13.1 TaskTracker的启动
13.2 TaskTracker与JobTracker进行通信的组件InterTrackerProtocol
13.3 JobTracker返回给TaskTracker的Action的类型
13.4 TaskTracker向JobTracker发送心跳的过程
13.5 TaskTracker的任务处理过程
13.6 TaskTracker的其他源代码分析
13.7 TaskStatus任务的状态信息
13.8 TaskInProgress正在处理的任务
13.9 Task所有任务的父类
13.10 MapTask执行过程概述
13.11 MapOutputBuffer Map输出缓冲区
13.12 ReduceTask执行过程概述
13.13 ReduceCopier Reduce的Copy和Merge执行工具
13.14 小结
第14章 Hadoop的RPC协议
14.1 Hadoop RPC概念概述
14.2 RPC协议接口
14.2.1 ClientDatanodeProtocol客户端与DataNode进行通信的协议
14.2.2 ClientProtocol客户端和NameNode进行通信的协议
14.2.3 DatanodeProtocol DataNode与NameNode进行通信的协议
14.2.4 InterDatanodeProtocol DataNode之间进行通信的协议
14.2.5 NamenodeProtocol SecondaryNameNode与NameNode进行通信的协议
14.2.6 InterTrackerProtocol TaskTracker与JobTracker进行通信的协议
14.2.7 JobSubmissionProtocol JobClient与JobTracker进行通信的协议
14.2.8 TaskUmbilicalProtocol Child进程与TaskTracker父进程进行通信的协议
14.3 RPC的客户端和服务器端的实现
14.3.1 Client客户端
14.3.2 Server服务端
14.4 小结