本書從Hadoop的緣起開始，由淺入深，結合理論和實踐，全方位地介紹Hadoop這一高性能處理海量數據集的理想工具。全書共14章，3個附錄，涉及的主題包括：Haddoop簡介；MapReduce簡介；Hadoop分布式文件系統；Hadoop的I/O、MapReduce應用程序開發；MapReduce的工作機制；MapReduce的類型和格式；MapReduce的特性；如何安裝Hadoop集群，如何管理Hadoop；Pig簡介；Hbase簡介；ZooKeeper簡介，最后還提供了豐富的案例分析。 本書是Hadoop權威參考，程序員可從中探索如何分析海量數據集，管理員可以從中了解如何安裝與運行Hadoop集群。
目 錄
第1章 初識Hadoop 1
1.1 數據！數據 1
1.2 數據的存儲和分析 3
1.3 相較于其他系統 4
1.3.1 關系型數據庫管理系統 5
1.3.2 網格計算 6
1.3.3 志愿計算 8
1.4 Hadoop發展簡史 9
1.5 Apache Hadoop項目 12
第2章 MapReduce簡介 15
2.1 一個氣象數據集 15
2.2 使用Unix Tools來分析數據 17
2.3 使用Hadoop進行數據分析 19
2.3.1 map和reduce 19
2.3.2 Java MapReduce 20
2.4 分布化 30
2.4.1 數據流 30
2.4.2 具體定義一個combiner 34
2.4.3 運行分布式MapReduce作業 35
2.5 Hadoop流 35
2.5.1 Ruby語言 36
2.5.2 Python 38
2.6 Hadoop管道 40
第3章 Hadoop分布式文件系統 44
3.1 HDFS的設計 44
3.2 HDFS的概念 45
3.2.1 塊 45
3.2.2 名稱節點與數據節點 47
3.3 命令行接口 48
3.4 Hadoop文件系統 50
3.5 Java接口 54
3.5.1 從Hadoop URL中讀取數據 54
3.5.2 使用FileSystem API讀取數據 56
3.5.3 寫入數據 59
3.5.4 目錄 62
3.5.5 查詢文件系統 62
3.5.6 刪除數據 67
3.6 數據流 68
3.6.1 文件讀取剖析 68
3.6.2 文件寫入剖析 71
3.6.3 一致模型 73
3.7 通過distcp進行并行復制 75
3.9 Hadoop歸檔文件 77
3.9.1 使用Hadoop Archives 77
3.8.2 不足 79
第4章 Hadoop的I/O 80
4.1 數據完整性 80
4.1.1 HDFS的數據完整性 81
4.1.2 本地文件系統 82
4.1.3 ChecksumFileSystem 82
4.2 壓縮 83
4.2.1 編碼/解碼器 84
4.2.2 壓縮和輸入分割 89
4.2.3 在MapReduce中使用壓縮 90
4.3 序列化 92
4.3.1 Writable接口 93
4.3.2 Writeable類 96
4.3.3 實現自定義的Writable 104
4.3.4 序列化框架 109
4.4 基于文件的數據結構 111
4.4.1 SequenceFile類 112
4.4.2 MapFile 120
第5章 MapReduce應用開發 125
5.1 API的配置 126
5.1.1 合并資源 127
5.1.2 各種擴展形式 128
5.2 配置開發環境 128
5.2.1 配置的管理 129
5.2.2 GenericOptionsParser，Tool和ToolRunner 131
5.3 編寫單元測試 134
5.3.1 Mapper 135
5.3.2 reducer 137
5.4 本地運行測試數據 138
5.4.1 在本地作業運行器上運行作業 139
5.4.2 測試驅動程序 142
5.5 在集群上運行 144
5.5.1 打包 144
5.5.2 啟動作業 144
5.5.3 MapReduce網絡用戶界面 146
5.5.4 獲取結果 150
5.5.4 調試作業 151
5.5.5 使用遠程調試器 157
5.6 作業調優 159
5.7 MapReduce的工作流 162
5.7.1 將問題分解成MapReduce作業 163
5.7.2 運行獨立的作業 164
第6章 MapReduce的工作原理 166
6.1 運行MapReduce作業 166
6.1.1 提交作業 166
6.1.2 作業的初始化 168
6.1.3 任務的分配 168
6.1.4 任務的執行 169
6.1.5 進度和狀態的更新 170
6.1.6 作業的完成 171
6.2 失敗 172
6.2.1 任務失敗 172
6.2.2 tasktracker失敗 174
6.2.3 jobtracker失敗 174
6.3 作業的調度 174
6.4 shuffle和排序 175
6.5.1 map端 176
6.5.2 reduce端 177
6.5.3 配置的調整 178
6.6 任務的執行 181
6.6.1 推測式執行 181
6.6.2 任務JVM重用 183
6.6.3 跳過壞記錄 184
6.6.4 任務執行環境 185
第7章 MapReduce的類型與格式 188
7.1 MapReduce類型 188
7.2 輸入格式 198
7.2.1 輸入分片與記錄 198
7.2.2 文本輸入 210
7.2.3 二進制輸入 214
7.2.4 多種輸入 215
7.2.5 數據庫格式的輸入/輸出 216
7.3 輸出格式 217
7.3.1 文本輸出 217
7.3.2 二進制輸出 218
7.3.3 多個輸出 218
7.3.4 延遲輸出 226
7.3.5 數據庫輸出 226
第8章 MapReduce 特性 227
8.1 計數器 227
8.1.1 內置計數器 227
8.1.2 用戶自定義Java計數器 230
8.1.3 用戶自定義流計數器 235
8.2 排序 235
8.2.1 準備 235
8.2.2 部分排序 237
8.2.3 全局排序 242
8.2.4 二次排序 246
8.3 聯接 252
8.3.1 map端聯接 253
8.3.2 reduce端聯接 254
8.4 次要數據的分布 258
8.4.1 使用作業配置 258
8.4.2 分布式緩存 258
8.5 MapReduce的類庫 263
第9章 Hadoop集群的安裝 264
9.1 集群說明 264
9.2 集群的建立和安裝 268
9.2.1 安裝Java 268
9.2.2 創建Hadoop用戶 269
9.2.3 安裝Hadoop 269
9.2.4 測試安裝 270
9.3 SSH配置 270
9.4 Hadoop配置 271
9.4.1 配置管理 271
9.4.2 環境設置 274
9.4.3 重要的Hadoop后臺程序屬性 278
9.4.4 Hadoop后臺程序地址和端口 283
9.4.5 其他Hadoop屬性 284
9.5 安裝之后 286
9.6 Hadoop集群基準測試 286
9.6.1 Hadoop基準測試 287
9.6.2 用戶作業 290
9.7 云計算中的Hadoop 290
第10章 Hadoop的管理 293
10.1 HDFS 293
10.1.1 持久化的數據結構 293
10.1.2 安全模式 298
10.1.3 審計日志 300
10.1.4 工具 300
10.2 監控 306
10.2.1 日志 306
10.2.2 度量 307
10.2.3 Java 管理擴展 310
10.3 維護 313
10.3.1 例行管理程序 313
10.3.2 委托節點和撤消節點 314
10.3.3 升級 317
第11章 Pig簡介 321
11.1 安裝和運行Pig 322
11.1.1 執行類型 322
11.1.2 運行Pig程序 324
11.1.3 Grunt 324
11.1.4 Pig Latin編輯器 325
11.2 實例 325
11.3 與數據庫比較 329
11.4 Pig Latin 330
11.4.1 結構 330
11.4.2 語句 331
11.4.3 表達式 334
11.4.4 類型 335
11.4.5 模式 337
11.4.6 函數 341
11.5 用戶定義函數 343
11.5.1 過濾UDF 343
11.5.2 求值UDF 347
11.5.3 加載UDF 348
11.6 數據處理操作符 353
11.6.1 加載和存儲數據 353
11.6.2 過濾數據 353
11.6.3 數據的分組和聯接 356
11.6.4 數據的排序 361
11.6.5 數據的合并和分割 362
11.7 Pig實踐提示與技巧 363
11.7.1 并行 363
11.7.2 參數替換 364
第12章 Hbase簡介 366
12.1 HBase基礎 366
12.2 概念 367
12.2.1 數據模型速覽 367
12.2.2 實現 368
12.3 安裝 371
12.4 客戶端 374
12.4.1 Java 374
12.4.2 REST和thrift 376
12.5 示例 377
12.5.1 架構 378
12.5.2 加載數據 379
12.5.3. Web查詢 382
12.6 HBase與RDBMS的比較 385
12.6.1 成功的服務 386
12.6.2 HBase 387
12.6.3 用例：streamy.com的Hbase 388
12.7 實踐 390
12.7.1 版本 390
12.7.2 Hbase和HDFS的愛與恨 390
12.7.3 用戶界面 392
12.7.4 度量 392
12.7.5 架構設計 392
第13章 ZooKeeper簡介 394
13.1 ZooKeeper的安裝和運行 395
13.2 范例 396
13.2.1 ZooKeeper中的組成員制 397
13.2.2 創建組 397
13.2.3 加入組 400
13.2.4 列出組成員 401
13.2.5 刪除一個組 404
13.3 ZooKeeper服務 405
13.3.1 數據模型 405
13.3.2 操作 407
13.3.3 執行 411
13.3.4 一致性 412
13.3.5 會話 414
13.3.6 狀態 416
13.4 使用ZooKeeper建立應用程序 417
13.4.1 配置服務 417
13.4.2 可恢復的ZooKeeper應用 421
13.4.3 鎖服務 425
13.4.4 更多分布式數據結構和協議 427
13.5 工業界中的ZooKeeper 428
13.5.1 恢復力及性能 428
13.5.2 配置 429
第14章 案例研究 431
14.1 Hadoop在Last.fm的應用 431
14.1.1 Last.fm：社會音樂革命 431
14.1.2 使用Hadoop生成排行榜 432
14.1.3 單曲統計程序 433
14.1.4 小結 440
14.2 Hadoop和Hive在Facebook的應用 441
14.2.1 簡介 441
14.2.2 Hadoop在Facebook的應用 441
14.2.3 虛擬案例研究 444
14.2.4 Hive 446
14.2.5 存在的問題及未來的工作 450
14.3 Hadoop在Nutch搜索引擎 451
14.3.1 背景 451
14.3.2 數據結構 453
14.3.3 Nutch中Hadoop數據處理精選實例 455
14.3.4 小結 465
14.4 Hadoop用于Rackspace的日志處理 466
14.4.1 需求/存在的問題 466
14.4.2 簡史 467
14.4.3 選擇Hadoop 467
14.4.4 收集和存儲 467
14.4.5 日志的MapReduce 468
14.5 Cascading項目 474
14.5.1 字段、元組和管道 475
14.5.2 操作 477
14.5.3 Tap、Sheme和Flow 479
14.5.4 Cascading實踐 480
14.5.5 靈活性 483
14.5.6 Hadoop和Cascading在ShareThis的應用 484
14.5.7 小結 487
14.6 Apache Hadoop的1 TB排序 488
附錄A Apache Hadoop的安裝 491
附錄B Cloudera的Hadoop分發包 497
附錄C 預備NCDC氣象資料 502
