內(nèi)容簡(jiǎn)介

本書(shū)結(jié)合理論和實(shí)踐，由淺入深，全方位介紹了Hadoop這一高性能的海量數(shù)據(jù)處理和分析平臺(tái)。全書(shū)5部分24章，第Ⅰ部分介紹Hadoop基礎(chǔ)知識(shí)，主題涉及Hadoop、MapReduce、Hadoop分布式文件系統(tǒng)、YARN、Hadoop的I/O操作。第Ⅱ部分介紹MapReduce,主題包括MapReduce應(yīng)用開(kāi)發(fā)；MapReduce的工作機(jī)制、MapReduce的類(lèi)型與格式、MapReduce的特性。第Ⅲ部分介紹Hadoop的運(yùn)維，主題涉及構(gòu)建Hadoop集群、管理Hadoop。第Ⅳ部分介紹Hadoop相關(guān)開(kāi)源項(xiàng)目，主題涉及Avro、Parquet、Flume、Sqoop、Pig、Hive、Crunch、Spark、HBase、ZooKeeper。第Ⅴ部分提供了三個(gè)案例，分別來(lái)自醫(yī)療衛(wèi)生信息技術(shù)服務(wù)商塞納(Cerner)、微軟的人工智能項(xiàng)目ADAM(一種大規(guī)模分布式深度學(xué)習(xí)框架)和開(kāi)源項(xiàng)目Cascading(一個(gè)新的針對(duì)MapReduce的數(shù)據(jù)處理API)。

本書(shū)是一本權(quán)威、全面的Hadoop參考書(shū)和工具書(shū)，闡述了Hadoop生態(tài)圈的最新發(fā)展和應(yīng)用，程序員可以從中探索海量數(shù)據(jù)集的存儲(chǔ)和分析，管理員可以從中了解Hadoop集群的安裝和運(yùn)維。

前言

 

 

數(shù)學(xué)科普作家馬丁·加德納(Martin Gardner)曾經(jīng)在一次采訪(fǎng)中談到：

“在我的世界里，只有微積分。這是我的專(zhuān)欄取得成功的奧秘。我花了很多時(shí)間才明白如何以大多數(shù)讀者都能明白的方式將自己所知道的東西娓娓道來(lái)。” ①

這也是我對(duì)Hadoop的諸多感受。它的內(nèi)部工作機(jī)制非常復(fù)雜，是一個(gè)集分布式系統(tǒng)理論、實(shí)際工程和常識(shí)于一體的系統(tǒng)。而且，對(duì)門(mén)外漢而言，Hadoop更像是“天外來(lái)客”。

但Hadoop其實(shí)并沒(méi)有那么讓人費(fèi)解，抽絲剝繭，我們來(lái)看看它的“廬山真面目”。Hadoop提供的用于處理大數(shù)據(jù)的工具都非常簡(jiǎn)單。如果說(shuō)這些工具有一個(gè)共同的主題，那就是它們更抽象，為(有大量數(shù)據(jù)需要存儲(chǔ)和分析卻沒(méi)有足夠的時(shí)間、技能或者不想成為分布式系統(tǒng)專(zhuān)家的)程序員提供一套組件，使其能夠利用Hadoop來(lái)構(gòu)建一個(gè)處理數(shù)據(jù)的基礎(chǔ)平臺(tái)。

這樣一個(gè)簡(jiǎn)單、通用的特性集，促使我在開(kāi)始使用Hadoop時(shí)便明顯感覺(jué)到Hadoop真的值得推廣。但最開(kāi)始的時(shí)候(2006年初)，安裝、配置和Hadoop應(yīng)用編程是一門(mén)高深的藝術(shù)。之后，情況確實(shí)有所改善：文檔增多了；示例增多了；碰到問(wèn)題時(shí)，可以向大量活躍的郵件列表發(fā)郵件求助。對(duì)新手而言，最大的障礙是理解Hadoop有哪些能耐，它擅長(zhǎng)什么，它如何使用。這些問(wèn)題使我萌發(fā)了寫(xiě)作本書(shū)的動(dòng)機(jī)。

Apache Hadoop社區(qū)的發(fā)展來(lái)之不易。從本書(shū)的第1版發(fā)行以來(lái)，Hadoop項(xiàng)目如雨后春筍般發(fā)展興旺。“大數(shù)據(jù)”已成為大家耳熟能詳?shù)拿�詞術(shù)語(yǔ)。②當(dāng)前，軟件在可用性、性能、可靠性、可擴(kuò)展性和可管理性方面都實(shí)現(xiàn)了巨大的飛躍。在Hadoop平臺(tái)上搭建和運(yùn)行的應(yīng)用增長(zhǎng)迅猛。事實(shí)上，對(duì)任何一個(gè)人來(lái)說(shuō)，跟蹤這些發(fā)展動(dòng)向都很困難。但為了讓更多的人采用Hadoop，我認(rèn)為我們要讓Hadoop更好用。這需要?jiǎng)?chuàng)建更多新的工具，集成更多的系統(tǒng)，創(chuàng)建新的增強(qiáng)型API。我希望自己能夠參與，同時(shí)也希望本書(shū)能夠鼓勵(lì)并吸引其他人也參與Hadoop項(xiàng)目。

說(shuō)明

在文中討論特定的Java類(lèi)時(shí)，我常常會(huì)忽略包的名稱(chēng)以免啰嗦雜亂。如果想知道一個(gè)類(lèi)在哪個(gè)包內(nèi)，可以查閱Hadoop或相關(guān)項(xiàng)目的Java API 文檔(Apache Hadoop主頁(yè)http://hadoop.apache.org上有鏈接可以訪(fǎng)問(wèn))。如果使用IDE編程，其自動(dòng)補(bǔ)全機(jī)制(也稱(chēng)“自動(dòng)完成機(jī)制”)能夠幫助你找到你需要的東西。

與此類(lèi)似，盡管偏離傳統(tǒng)的編碼規(guī)范，但如果要導(dǎo)入同一個(gè)包的多個(gè)類(lèi)，程序可以使用星號(hào)通配符來(lái)節(jié)省空間(例如import org.apache.hadoop. io.*)。

本書(shū)中的示例代碼可以從本書(shū)網(wǎng)站下載，網(wǎng)址為http://www.hadoopbook.com/。可以根據(jù)網(wǎng)頁(yè)上的指示獲取本書(shū)示例所用的數(shù)據(jù)集以及運(yùn)行本書(shū)示例的詳細(xì)說(shuō)明、更新鏈接、額外的資源與我的博客。

第4版新增內(nèi)容

第4版的主題是Hadoop 2。Hadoop 2系列發(fā)行版本是當(dāng)前應(yīng)用最活躍的系列，且包含Hadoop的最穩(wěn)定的版本。

第4版新增的章節(jié)包括YARN(第4章)、Parquet(第13章)、Flume(第14章)、Crunch(第18章)和Spark(第19章)。此外，為了幫助讀者更方便地閱讀本書(shū)，第1章新增了一節(jié)“本書(shū)包含的內(nèi)容”(參見(jiàn)1.7節(jié))。

第4版包括兩個(gè)新的實(shí)例學(xué)習(xí)(第22章和第23章)：一個(gè)是關(guān)于Hadoop如何應(yīng)用于醫(yī)療健康系統(tǒng)，另一個(gè)是關(guān)于將Hadoop技術(shù)如何應(yīng)用于基因數(shù)據(jù)處理。舊版本中的實(shí)例學(xué)習(xí)可以在線(xiàn)查到，網(wǎng)址為http:/bit.ly/hadoop_tdg_prev。

為了和Hadoop最新發(fā)行版本及其相關(guān)項(xiàng)目同步，第4版對(duì)原有章節(jié)進(jìn)行了修訂、更新和優(yōu)化。

第3版新增內(nèi)容

第3版概述Apache Hadoop 1.x(以前的0.20)系列發(fā)行版本，以及新近的0.22和2.x(以前的0.23)系列。除了少部分(文中有說(shuō)明)例外，本書(shū)包含的所有范例都在這些版本上運(yùn)行過(guò)。

第3版的大部分范例代碼都使用了新的MapReduce API。因?yàn)榕f的API仍然應(yīng)用很廣，所以文中在討論新的API時(shí)我們還會(huì)繼續(xù)討論它，使用舊API的對(duì)應(yīng)范例代碼可以到本書(shū)的配套網(wǎng)站下載。

Hadoop 2.0最主要的變化是新增的MapReduce運(yùn)行時(shí)MapReduce 2，它建立在一個(gè)新的分布式資源管理系統(tǒng)之上，該系統(tǒng)稱(chēng)為YARN。針對(duì)建立在YARN之上的MapReduce，第3版增加了相關(guān)的介紹，包括它的工作機(jī)制(第7章)及如何運(yùn)行(第10章)。

第3版還增加了更多對(duì)MapReduce的介紹，包括豐富的開(kāi)發(fā)實(shí)踐，比如用Maven打包MapReduce作業(yè)，設(shè)置用戶(hù)的Java類(lèi)路徑，用MRUnit寫(xiě)測(cè)試等(這些內(nèi)容都請(qǐng)參見(jiàn)第6章)。第3版還深入介紹了一些特性，如輸出committer和分布式緩存(第9章)，任務(wù)內(nèi)存監(jiān)控(第10章)。第3版還新增了兩小節(jié)內(nèi)容，一節(jié)是關(guān)于如何寫(xiě)MapReduce作業(yè)來(lái)處理Avro數(shù)據(jù)(參見(jiàn)第12章)，另一節(jié)是關(guān)于如何在Oozie中運(yùn)行一個(gè)簡(jiǎn)單的MapReduce工作流(參見(jiàn)第6章)。

關(guān)于HDFS的章節(jié)(第3章)，新增了對(duì)高可用性、聯(lián)邦HDFS、新的WebHDFS和HttpFS文件系統(tǒng)的介紹。

對(duì)Pig，Hive，Sqoop和ZooKeeper的相關(guān)介紹，第3版全部進(jìn)行了相應(yīng)的擴(kuò)展，廣泛介紹其最新發(fā)行版本中的新特性和變化。

此外，第3版還對(duì)第2版進(jìn)行了徹底的更新、修訂和優(yōu)化。

 

第2版新增內(nèi)容

《Hadoop權(quán)威指南》(第2版)新增兩章內(nèi)容，分別介紹Sqoop和Hive(第15章和第17章)，新增一個(gè)小節(jié)專(zhuān)門(mén)介紹Avro(參見(jiàn)第12章)，補(bǔ)充了關(guān)于Hadoop新增安全特性的介紹(參見(jiàn)第10章)以及一個(gè)介紹如何使用Hadoop來(lái)分析海量網(wǎng)絡(luò)圖的新實(shí)例分析。

第2版繼續(xù)介紹Apache Hadoop 0.20系列發(fā)行版本，因?yàn)楫?dāng)時(shí)最新、最穩(wěn)定的發(fā)行版本。書(shū)中有時(shí)會(huì)提到一些最新發(fā)行版本中的一些新特性，但在首次介紹這些特性時(shí)，有說(shuō)明具體的Hadoop版本號(hào)。

本書(shū)采用的約定

本書(shū)采用以下排版約定。

斜體

用于表明新的術(shù)語(yǔ)、URL、電子郵件地址、文件名和文件擴(kuò)展名。

等寬字體Consolas

用于程序清單，在正文段落中出現(xiàn)的程序元素(如變量或函數(shù)名)、數(shù)據(jù)庫(kù)、數(shù)據(jù)類(lèi)型、環(huán)境變量、語(yǔ)句和關(guān)鍵字也采用這樣的字體。

等寬字體Consolas+加粗

用于顯示命令或應(yīng)該由用戶(hù)鍵入的其他文本。

等寬字體Consolas+斜體

表明這里的文本需要替換為用戶(hù)提供的值或其他由上下文確定的值。

 

這個(gè)圖標(biāo)表示通用的說(shuō)明。

 

 

這個(gè)圖標(biāo)表示重要的指示或建議。

 

 

這個(gè)圖標(biāo)表示警告或需要注意的問(wèn)題。

 

示例代碼的使用

本書(shū)的補(bǔ)充材料（代碼、示例及練習(xí)等）可以從本書(shū)網(wǎng)站(http://www.hadoopbook.com)或GitHub(https://github.com/tomwhite/hadoop-book/)下載。

本書(shū)的目的是幫助讀者完成工作。通常情況下，可以在你的程序或文檔中使用本書(shū)中給出的代碼。不必聯(lián)系我們獲得代碼使用授權(quán)，除非你需要使用大量的代碼。例如，在寫(xiě)程序的時(shí)候引用幾段代碼不需要向我們申請(qǐng)?jiān)S可。但以光盤(pán)方式銷(xiāo)售或重新發(fā)行O’Reilly書(shū)中的示例的確需要獲得許可。引用本書(shū)或引用本書(shū)中的示例代碼來(lái)回答問(wèn)題也不需要申請(qǐng)?jiān)S可。但是，如果要將本書(shū)中的大量范例代碼加入你的產(chǎn)品文檔，則需要申請(qǐng)?jiān)S可。

我們欣賞你在引用時(shí)注明出處，但不強(qiáng)求。引用通常包括書(shū)名、作者、出版社和ISBN，如“Hadoop: The Definitive Guide, Fourth Edition, by Tom White(O’Reilly).Copyright  2015 Tom White，978-1-491-90163-2”。

如果覺(jué)得使用示例代碼的情況不屬于前面列出的合理使用或許可范圍，請(qǐng)通過(guò)電子郵件聯(lián)系我們，郵箱地址為permissions@oreilly.com。

Safari Books Online

Safari Books Online(www.safaribooksonline.com)是一個(gè)按需定制的數(shù)字圖書(shū)館，以圖書(shū)和視頻的形式提供全球技術(shù)領(lǐng)   域和經(jīng)管領(lǐng)域內(nèi)知名作者的專(zhuān)業(yè)作品。

專(zhuān)業(yè)技術(shù)人員、軟件開(kāi)發(fā)人員、網(wǎng)頁(yè)設(shè)計(jì)人員、商務(wù)人員和創(chuàng)意專(zhuān)家將Safari Books Online用作自己開(kāi)展研究、解決問(wèn)題、學(xué)習(xí)和完成資格認(rèn)證培訓(xùn)的重要來(lái)源。

Safari Books Online為企業(yè)、政府部門(mén)、教育機(jī)構(gòu)和個(gè)人提供廣泛、靈活的計(jì)劃和定價(jià)。

在這里，成員們通過(guò)一個(gè)可以全文檢索的數(shù)據(jù)庫(kù)中就能夠訪(fǎng)問(wèn)數(shù)千種圖書(shū)、培訓(xùn)視頻和正式出版之前的書(shū)稿，這些內(nèi)容提供商有O'Reilly Media、Prentice Hall Professional、Addison-Wesley Professional、Microsoft Press、Sams、Que、Peachpit Press、Focal Press、Cisco Press、John Wiley & Sons、Syngress、Morgan Kaufmann、IBM Redbooks、Packt、Adobe Press、FT Press、Apress、Manning、New Riders、McGraw-Hill、Jones & Bartlett、Course Technology及其他上百家出版社。歡迎訪(fǎng)問(wèn)Safari Books Online，了解更多詳情。 

聯(lián)系我們

對(duì)于本書(shū)，如果有任何意見(jiàn)或疑問(wèn)，請(qǐng)通過(guò)以下地址聯(lián)系出版商：

 

　　美國(guó)：

O’Reilly Media, Inc.

1005 Gravenstein Highway North

Sebastopol, CA 95472

中國(guó)：

北京市西城區(qū)西直門(mén)南大街2號(hào)成銘大廈C座807室(100035)

奧萊利技術(shù)咨詢(xún)(北京)有限公司

本書(shū)也有相關(guān)的網(wǎng)頁(yè)，我們?cè)谏厦媪谐隽丝闭`表、范例以及其他一些信息。網(wǎng)址如下：

http://bit.ly/hadoop_tdg_4e(英文版)

http://www.oreilly.com.cn/book.php?bn=978-7-302-46513-3(中文版)

 

對(duì)本書(shū)做出評(píng)論或者詢(xún)問(wèn)技術(shù)問(wèn)題，請(qǐng)發(fā)送E-mail至以下郵箱：

　　bookquestions@oreilly.com

 

如果希望獲得關(guān)于本書(shū)、會(huì)議、資源中心和O’Reilly的更多信息，請(qǐng)?jiān)L問(wèn)以下網(wǎng)址：

http://www.oreilly.com

http://www.oreilly.com.cn 

 

致謝

在本書(shū)寫(xiě)作期間，我仰賴(lài)于許多人的幫助，直接的或間接的。感謝Hadoop社區(qū)，我從中學(xué)到很多，這樣的學(xué)習(xí)仍將繼續(xù)。

特別感謝Michael Stack和Jonathan Gray，HBase這一章的內(nèi)容就是他們寫(xiě)的。我還要感謝Adrian Woodhead，Marc de Palol，Joydeep Sen Sarma，Ashish Thusoo，Andrzej Białecki，Stu Hood，Chris K. Wensel和 Owen O’Malley，他們提供了學(xué)習(xí)實(shí)例。

感謝為草稿提出有用建議和改進(jìn)建議的評(píng)審人：Raghu Angadi，Matt Biddulph，Christophe Bisciglia，Ryan Cox，Devaraj Das，Alex Dorman，Chris Douglas，Alan Gates，Lars George，Patrick Hunt，Aaron Kimball，Peter Krey，Hairong Kuang，Simon Maxen，Olga Natkovich，Benjamin Reed，Konstantin Shvachko，Allen Wittenauer，Matei Zaharia和 Philip Zeyliger。Ajay Anand組織本書(shū)的評(píng)審并使其順利完成。Philip (“flip”) Komer幫助我獲得了NCDC氣溫?cái)?shù)據(jù)，使本書(shū)示例很有特色。特別感謝Owen O’Malley 和 Arun C. Murthy，他們?yōu)槲仪宄�解釋了MapReduce中shuffle的復(fù)雜過(guò)程。當(dāng)然，如果有任何錯(cuò)誤，得歸咎于我。

對(duì)于第2版，我特別感謝 Jeff Bean，Doug Cutting，Glynn Durham，Alan Gates，Jeff Hammerbacher，Alex Kozlov，Ken Krugler，Jimmy Lin，Todd Lipcon，Sarah Sproehnle，Vinithra Varadharajan和Ian Wrigley，感謝他們仔細(xì)審閱本書(shū)，并提出寶貴的建議，同時(shí)也感謝對(duì)本書(shū)第1版提出勘誤建議的讀者。我也想感謝Aaron Kimball對(duì)Sqoop所做的貢獻(xiàn)和Philip (“flip”)Kromer對(duì)圖處理實(shí)例分析所做的貢獻(xiàn)。

對(duì)于第3版，我想感謝Alejandro Abdelnur，Eva Andreasson，Eli Collins，Doug Cutting，Patrick Hunt，Aaron Kimball，Aaron T. Myers，Brock Noland，Arvind Prabhakar，Ahmed Radwan和Tom Wheeler，感謝他們的反饋意見(jiàn)和建議。Rob Weltman友善地對(duì)整本書(shū)提出了非常詳細(xì)的反饋意見(jiàn)，這些意見(jiàn)和建議使得本書(shū)終稿的質(zhì)量得以更上一層樓。此外，我還要向提交第2版勘誤的所有讀者表達(dá)最真摯的謝意。

 

對(duì)于第4版，我想感謝Jodok Batlogg，Meghan Blanchette，Ryan Blue，Jarek Jarcec Cecho，Jules Damji，Dennis Dawson，Matthew Gast，Karthik Kambatla，Julien Le Dem，Brock Noland，Sandy Ryza，Akshai Sarma，Ben Spivey，Michael Stack，Kate Ting，Josh Walter，Josh Wills和Adrian Woodhead，感謝他們所有人非常寶貴的審閱反饋。Ryan Brush，Micah Whitacre和Matt Massie kindly為第4版友情提供新的實(shí)例學(xué)習(xí)。再次感謝提交勘誤的所有讀者。

特別感謝Doug Cutting對(duì)我的鼓勵(lì)、支持、友誼以及他為本書(shū)所寫(xiě)的序。

我還要感謝在本書(shū)寫(xiě)作期間以對(duì)話(huà)和郵件方式進(jìn)行交流的其他人。

在本書(shū)第1版寫(xiě)到一半的時(shí)候，我加入了Cloudera，我想感謝我的同事，他們?yōu)槲姨峁┝舜罅康膸椭�和支持，使我有充足的時(shí)間好好寫(xiě)書(shū)，并能及時(shí)交稿。

非常感謝我的編輯Mike Loukides、Meghan Blanchette及其O’Reilly Media的同事，他們?cè)诒緯?shū)的準(zhǔn)備階段為我提供了很多幫助。Mike和Meghan一直為我答疑解惑、審讀我的初稿并幫助我如期完稿。

最后，寫(xiě)作是一項(xiàng)艱巨的任務(wù)，如果沒(méi)有家人一如既往地支持，我是不可能完成這本的。我的妻子Eliane，她不僅操持著整個(gè)家庭，還協(xié)助我，參與本書(shū)的審稿、編輯和跟進(jìn)案例學(xué)習(xí)。還有我的女兒Emilia和Lottie，她們一直都非常理解并支持我的工作，我期待有更多時(shí)間好好陪陪她們。

① 摘自“The science of fun”，網(wǎng)址為http://bit.ly/science_of_fun。此文2008年5月31日發(fā)表于《衛(wèi)報(bào)》。

 

② 術(shù)語(yǔ)“大數(shù)據(jù)”在2013年被收入《牛津英語(yǔ)辭典》(Oxford English Dictionary)，網(wǎng)址為http://bit.ly/6_13_oed_update。

目錄

 

第Ⅰ部分  Hadoop基礎(chǔ)知識(shí)

 

第1章  初識(shí)Hadoop 3

1.1  數(shù)據(jù)！數(shù)據(jù)！ 3

1.2  數(shù)據(jù)的存儲(chǔ)與分析 5

1.3  查詢(xún)所有數(shù)據(jù) 6

1.4  不僅僅是批處理 7

1.5  相較于其他系統(tǒng)的優(yōu)勢(shì) 8

1.5.1  關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng) 8

1.5.2  網(wǎng)格計(jì)算 10

1.5.3  志愿計(jì)算 11

1.6  Apache Hadoop發(fā)展簡(jiǎn)史 12

1.7  本書(shū)包含的內(nèi)容 16

第2章  關(guān)于MapReduce 19

2.1  氣象數(shù)據(jù)集 19

2.2  使用Unix工具來(lái)分析數(shù)據(jù) 21

2.3  使用Hadoop來(lái)分析數(shù)據(jù) 22

2.3.1  map和reduce 23

2.3.2  Java MapReduce 24

2.4  橫向擴(kuò)展 31

2.4.1  數(shù)據(jù)流 31

2.4.2  combiner函數(shù) 35

2.4.3  運(yùn)行分布式的

MapReduce作業(yè) 37

2.5  Hadoop Streaming 37

2.5.1  Ruby版本 38

2.5.2  Python版本 40

第3章  Hadoop分布式文件系統(tǒng) 42

3.1  HDFS的設(shè)計(jì) 42

3.2  HDFS的概念 44

3.2.1  數(shù)據(jù)塊 44

 

3.2.2  namenode和datanode 45

3.2.3  塊緩存 46

3.2.4  聯(lián)邦HDFS 47

3.2.5  HDFS的高可用性 47

3.3  命令行接口 50

3.4  Hadoop文件系統(tǒng) 52

3.5  Java接口 56

3.5.1  從Hadoop URL讀取

數(shù)據(jù) 56

3.5.2  通過(guò)FileSystem API

讀取數(shù)據(jù) 58

3.5.3  寫(xiě)入數(shù)據(jù) 61

3.5.4  目錄 63

3.5.5  查詢(xún)文件系統(tǒng) 63

3.5.6  刪除數(shù)據(jù) 68

3.6  數(shù)據(jù)流 68

3.6.1  剖析文件讀取 68

3.6.2  剖析文件寫(xiě)入 71

3.6.3  一致模型 74

3.7  通過(guò)distcp并行復(fù)制 76

第4章  關(guān)于YARN 78

4.1  剖析YARN應(yīng)用運(yùn)行機(jī)制 79

4.1.1  資源請(qǐng)求 80

4.1.2  應(yīng)用生命期 81

4.1.3  構(gòu)建YARN應(yīng)用 81

4.2  YARN與MapReduce 1相比 82

4.3  YARN中的調(diào)度 85

4.3.1  調(diào)度選項(xiàng) 85

4.3.2  容量調(diào)度器配置 87

4.3.3  公平調(diào)度器配置 89

4.3.5  延遲調(diào)度 93

4.3.5  主導(dǎo)資源公平性 94

4.4  延伸閱讀 95

第5章  Hadoop的I/O操作 96

5.1  數(shù)據(jù)完整性 96

5.1.1  HDFS的數(shù)據(jù)完整性 97

5.1.2  LocalFileSystem 98

5.1.3  ChecksumFileSystem 98

5.2  壓縮 99

5.2.1  codec 100

5.2.2  壓縮和輸入分片 105

 

5.2.3  在MapReduce中使用

壓縮 106

5.3  序列化 109

5.3.1  Writable接口 110

5.3.2  Writable類(lèi) 112

5.3.3  實(shí)現(xiàn)定制的Writable

集合 121

5.3.4  序列化框架 125

5.4  基于文件的數(shù)據(jù)結(jié)構(gòu) 127

5.4.1  關(guān)于SequenceFile 127

5.4.2  關(guān)于MapFile 135

5.4.3  其他文件格式和

面向列的格式 136

 

第Ⅱ部分  關(guān)于MapReduce

 

第6章  MapReduce應(yīng)用開(kāi)發(fā) 141

6.1  用于配置的API 142

6.1.1  資源合并 143

6.1.2  變量擴(kuò)展 144

6.2  配置開(kāi)發(fā)環(huán)境 144

6.2.1  管理配置 146

6.2.2  輔助類(lèi)GenericOptionsParser，

Tool和ToolRunner 149

6.3  用MRUnit來(lái)寫(xiě)單元測(cè)試 152

6.3.1  關(guān)于Mapper 152

6.3.2  關(guān)于Reducer 156

6.4  本地運(yùn)行測(cè)試數(shù)據(jù) 156

6.4.1  在本地作業(yè)運(yùn)行器上

運(yùn)行作業(yè) 156

6.4.2  測(cè)試驅(qū)動(dòng)程序 158

6.5  在集群上運(yùn)行 160

6.5.1  打包作業(yè) 160

6.5.2  啟動(dòng)作業(yè) 162

6.5.3  MapReduce的Web

界面 165

6.5.4  獲取結(jié)果 167

6.5.5  作業(yè)調(diào)試 168

6.5.6  Hadoop日志 171

6.5.7  遠(yuǎn)程調(diào)試 173

6.6  作業(yè)調(diào)優(yōu) 174

6.7  MapReduce的工作流 176

6.7.1  將問(wèn)題分解成

MapReduce作業(yè) 177

6.7.2  關(guān)于JobControl 178

6.7.3  關(guān)于Apache Oozie 179

第7章  MapReduce的工作機(jī)制 184

7.1  剖析MapReduce作業(yè)運(yùn)行

機(jī)制 184

7.1.1  作業(yè)的提交 185

7.1.2  作業(yè)的初始化 186

7.1.3  任務(wù)的分配 187

7.1.4  任務(wù)的執(zhí)行 188

7.1.5  進(jìn)度和狀態(tài)的更新 189

7.1.6  作業(yè)的完成 191

7.2  失敗 191

7.2.1  任務(wù)運(yùn)行失敗 191

7.2.2  application master

運(yùn)行失敗 193

7.2.3  節(jié)點(diǎn)管理器運(yùn)行失敗 193

7.2.4  資源管理器運(yùn)行失敗 194

7.3  shuffle和排序 195

7.3.1  map端 195

7.3.2  reduce端 197

7.3.3  配置調(diào)優(yōu) 199

7.4  任務(wù)的執(zhí)行 201

7.4.1  任務(wù)執(zhí)行環(huán)境 201

7.4.2  推測(cè)執(zhí)行 202

7.4.3  關(guān)于

OutputCommitters 204

第8章  MapReduce的

類(lèi)型與格式 207

8.1  MapReduce的類(lèi)型 207

8.1.1  默認(rèn)的MapReduce

作業(yè) 212

8.1.2  默認(rèn)的Streaming

作業(yè) 216

8.2  輸入格式 218

8.2.1  輸入分片與記錄 218

8.2.2  文本輸入 229

8.2.3  二進(jìn)制輸入 233

8.2.4  多個(gè)輸入 234

8.2.5  數(shù)據(jù)庫(kù)輸入(和輸出) 235

8.3  輸出格式 236

8.3.1  文本輸出 236

8.3.2  二進(jìn)制輸出 237

8.3.3  多個(gè)輸出 237

8.3.4  延遲輸出 242

8.3.5  數(shù)據(jù)庫(kù)輸出 242

第9章  MapReduce的特性 243

9.1  計(jì)數(shù)器 243

9.1.1  內(nèi)置計(jì)數(shù)器 243

9.1.2  用戶(hù)定義的Java

計(jì)數(shù)器 248

9.1.3  用戶(hù)定義的Streaming

計(jì)數(shù)器 251

9.2  排序 252

9.2.1  準(zhǔn)備 252

9.2.2  部分排序 253

9.2.3  全排序 255

9.2.4  輔助排序 259

9.3  連接 264

9.3.1  map端連接 266

9.3.2  reduce端連接 266

9.4  邊數(shù)據(jù)分布 270

9.4.1  利用JobConf來(lái)配置

作業(yè) 270

9.4.2  分布式緩存 270

9.5  MapReduce庫(kù)類(lèi) 276

 

第Ⅲ部分  Hadoop的操作

 

第10章  構(gòu)建Hadoop集群 279

10.1  集群規(guī)范 280

10.1.1  集群規(guī)模 281

10.1.2  網(wǎng)絡(luò)拓?fù)?span id="epizqqp1gsyu" class="Apple-tab-span" style="white-space:pre"> 282

10.2  集群的構(gòu)建和安裝 284

10.2.1  安裝Java 284

10.2.2  創(chuàng)建Unix 用戶(hù)賬號(hào) 284

10.2.3  安裝Hadoop 284

10.2.4  SSH配置 285

10.2.5  配置Hadoop 286

10.2.6  格式化HDFS 文件

系統(tǒng) 286

10.2.7  啟動(dòng)和停止守護(hù)

進(jìn)程 286

10.2.8  創(chuàng)建用戶(hù)目錄 288

10.3  Hadoop配置 288

10.3.1  配置管理 289

10.3.2  環(huán)境設(shè)置 290

10.3.3  Hadoop守護(hù)進(jìn)程的

關(guān)鍵屬性 293

10.3.4  Hadoop守護(hù)進(jìn)程的

地址和端口 300

10.3.5  Hadoop的其他屬性 303

10.4  安全性 305

10.4.1  Kerberos和Hadoop 306

10.4.2  委托令牌 308

10.4.3  其他安全性改進(jìn) 309

10.5  利用基準(zhǔn)評(píng)測(cè)程序測(cè)試

Hadoop集群 311

10.5.1  Hadoop基準(zhǔn)評(píng)測(cè)

程序 311

10.5.2  用戶(hù)作業(yè) 313

第11章  管理Hadoop 314

11.1  HDFS 314

11.1.1  永久性數(shù)據(jù)結(jié)構(gòu) 314

11.1.2  安全模式 320

 

11.1.3  日志審計(jì) 322

11.1.4  工具 322

11.2  監(jiān)控 327

11.2.1  日志 327

11.2.2  度量和JMX(Java

管理擴(kuò)展) 328

11.3  維護(hù) 329

11.3.1  日常管理過(guò)程 329

11.3.2  委任和解除節(jié)點(diǎn) 331

11.3.3  升級(jí) 334

 

第Ⅳ部分  Hadoop相關(guān)開(kāi)源項(xiàng)目

 

第12章  關(guān)于Avro 341

12.1  Avro數(shù)據(jù)類(lèi)型和模式 342

12.2  內(nèi)存中的序列化和

反序列化特定API 347

12.3  Avro數(shù)據(jù)文件 349

12.4  互操作性 351

12.4.1  Python API 351

12.4.2  Avro工具集 352

12.5  模式解析 352

12.6  排列順序 354

12.7  關(guān)于Avro MapReduce 356

12.8  使用Avro MapReduce

進(jìn)行排序 359

12.9  其他語(yǔ)言的Avro 362

第13章  關(guān)于Parquet 363

13.1  數(shù)據(jù)模型 364

13.2  Parquet文件格式 367

13.3  Parquet的配置 368

13.4  Parquet文件的讀/寫(xiě) 369

13.4.1  Avro、Protocol Buffers

和Thrift 371

13.4.2  投影模式和讀取

模式 373

13.5  Parquet MapReduce 374

第14章  關(guān)于Flume 377

14.1  安裝Flume 378

14.2  示例 378

14.3  事務(wù)和可靠性 380

14.4  HDFS Sink 382

14.5  扇出 385

14.5.1  交付保證 386

14.5.2  復(fù)制和復(fù)用選擇器 387

14.6  通過(guò)代理層分發(fā) 387

14.7  Sink組 391

14.8  Flume與應(yīng)用程序的集成 395

14.9  組件編目 395

14.10  延伸閱讀 397

第15章  關(guān)于Sqoop 398

15.1  獲取Sqoop 398

15.2  Sqoop連接器 400

15.3  一個(gè)導(dǎo)入的例子 401

15.4  生成代碼 404

15.5  深入了解數(shù)據(jù)庫(kù)導(dǎo)入 405

15.5.1  導(dǎo)入控制 407

15.5.2  導(dǎo)入和一致性 408

15.5.3  增量導(dǎo)入 408

15.5.4  直接模式導(dǎo)入 408

15.6  使用導(dǎo)入的數(shù)據(jù) 409

15.7  導(dǎo)入大對(duì)象 412

15.8  執(zhí)行導(dǎo)出 414

15.9  深入了解導(dǎo)出功能 416

15.9.1  導(dǎo)出與事務(wù) 417

15.9.2  導(dǎo)出和SequenceFile 418

15.10  延伸閱讀 419

第16章  關(guān)于Pig 420

16.1  安裝與運(yùn)行Pig 421

16.1.1  執(zhí)行類(lèi)型 422

16.1.2  運(yùn)行Pig程序 423

16.1.3  Grunt 424

16.1.4  Pig Latin編輯器 424

16.2  示例 425

16.3  與數(shù)據(jù)庫(kù)進(jìn)行比較 428

16.4  PigLatin 429

16.4.1  結(jié)構(gòu) 430

16.4.2  語(yǔ)句 431

16.4.3  表達(dá)式 436

16.4.4  類(lèi)型 437

16.4.5  模式 438

16.4.6  函數(shù) 443

16.4.7  宏 445

16.5  用戶(hù)自定義函數(shù) 446

16.5.1  過(guò)濾UDF 447

16.5.2  計(jì)算UDF 450

16.5.3  加載UDF 452

16.6  數(shù)據(jù)處理操作 455

16.6.1  數(shù)據(jù)的加載和存儲(chǔ) 455

16.6.2  數(shù)據(jù)的過(guò)濾 455

16.6.3  數(shù)據(jù)的分組與連接 458

16.6.4  數(shù)據(jù)的排序 463

16.6.5  數(shù)據(jù)的組合和切分 465

16.7  Pig實(shí)戰(zhàn) 465

16.7.1  并行處理 465

16.7.2  匿名關(guān)系 466

16.7.3  參數(shù)代換 467

16.8  延伸閱讀 468

第17章  關(guān)于Hive 469

17.1  安裝Hive 470

Hive的shell環(huán)境 471

17.2  示例 472

17.3  運(yùn)行Hive 473

17.3.1  配置Hive 473

17.3.2  Hive服務(wù) 476

17.3.3  Metastore 478

17.4  Hive與傳統(tǒng)數(shù)據(jù)庫(kù)相比 480

17.4.1  讀時(shí)模式vs.寫(xiě)時(shí)

模式 480

17.4.2  更新、事務(wù)和索引 481

17.4.3  其他SQL-on-Hadoop

技術(shù) 482

17.5  HiveQL 483

17.5.1  數(shù)據(jù)類(lèi)型 484

17.5.2  操作與函數(shù) 487

17.6  表 488

17.6.1  托管表和外部表 488

17.6.2  分區(qū)和桶 490

17.6.3  存儲(chǔ)格式 494

17.6.4  導(dǎo)入數(shù)據(jù) 498

17.6.5  表的修改 500

17.6.6  表的丟棄 501

17.7  查詢(xún)數(shù)據(jù) 501

17.7.1  排序和聚集 501

17.7.2  MapReduce腳本 502

17.7.3  連接 503

17.7.4  子查詢(xún) 506

17.7.5  視圖 507

17.8  用戶(hù)定義函數(shù) 508

17.8.1  寫(xiě)UDF 510

17.8.2  寫(xiě)UDAF 512

17.9  延伸閱讀 516

第18章  關(guān)于Crunch 517

18.1  示例 518

18.2  Crunch核心API 521

18.2.1  基本操作 522

18.2.2  類(lèi)型 527

18.2.3  源和目標(biāo) 530

18.2.4  函數(shù) 532

18.2.5  物化 535

18.3  管線(xiàn)執(zhí)行 537

18.3.1  運(yùn)行管線(xiàn) 538

18.3.2  停止管線(xiàn) 539

18.3.3  查看Crunch計(jì)劃 540

18.3.4  迭代算法 543

18.3.5  給管線(xiàn)設(shè)置檢查點(diǎn) 544

18.4  Crunch庫(kù) 545

18.5  延伸閱讀 547

第19章  關(guān)于Spark 548

19.1  安裝Spark 549

19.2  示例 549

19.2.1  Spark應(yīng)用、作業(yè)、

階段和任務(wù) 551

19.2.2  Scala獨(dú)立應(yīng)用 552

19.2.3  Java示例 553

19.2.4  Python示例 554

19.3  彈性分布式數(shù)據(jù)集 555

19.3.1  創(chuàng)建 555

19.3.2  轉(zhuǎn)換和動(dòng)作 557

19.3.3  持久化 561

19.3.4  序列化 563

19.4  共享變量 564

19.4.1  廣播變量 564

19.4.2  累加器 565

19.5  剖析Spark作業(yè)運(yùn)行機(jī)制 565

19.5.1  作業(yè)提交 566

19.5.2  DAG的構(gòu)建 566

19.5.3  任務(wù)調(diào)度 569

19.5.4  任務(wù)執(zhí)行 570

19.6  執(zhí)行器和集群管理器 570

19.7  延伸閱讀 574

第20章  關(guān)于HBase 575

20.1  HBase基礎(chǔ) 575

20.2  概念 576

20.2.1  數(shù)據(jù)模型的

“旋風(fēng)之旅” 576

20.2.2  實(shí)現(xiàn) 578

20.3  安裝 581

20.4  客戶(hù)端 584

20.4.1  Java 584

20.4.2  MapReduce 588

20.4.3  REST和Thrift 589

20.5  創(chuàng)建在線(xiàn)查詢(xún)應(yīng)用 589

20.5.1  模式設(shè)計(jì) 590

20.5.2  加載數(shù)據(jù) 591

20.5.3  在線(xiàn)查詢(xún) 595

20.6  HBase和RDBMS的比較 598

20.6.1  成功的服務(wù) 599

20.6.2  HBase 600

20.7  Praxis 601

20.7.1  HDFS 601

20.7.2  用戶(hù)界面 602

20.7.3  度量 602

20.7.4  計(jì)數(shù)器 602

20.8  延伸閱讀 602

第21章  關(guān)于ZooKeeper 604

21.1  安裝和運(yùn)行ZooKeeper 605

21.2  示例 607

21.2.1  ZooKeeper中的

組成員關(guān)系 608

21.2.2  創(chuàng)建組 608

21.2.3  加入組 611

21.2.4  列出組成員 612

21.2.5  刪除組 614

21.3  ZooKeeper服務(wù) 615

21.3.1  數(shù)據(jù)模型 615

21.3.2  操作 618

21.3.3  實(shí)現(xiàn) 622

21.3.4  一致性 624

21.3.5  會(huì)話(huà) 626

21.3.6  狀態(tài) 628

21.4  使用ZooKeeper來(lái)構(gòu)建

應(yīng)用 629

21.4.1  配置服務(wù) 629

21.4.2  可復(fù)原的ZooKeeper

應(yīng)用 633

21.4.3  鎖服務(wù) 637

 

21.4.4  更多分布式數(shù)據(jù)

結(jié)構(gòu)和協(xié)議 639

21.5  生產(chǎn)環(huán)境中的ZooKeeper 640

21.5.1  可恢復(fù)性和性能 641

21.5.2  配置 642