1.如何開始？

人們想開始學習大數(shù)據(jù)的時候，最常問我的問題是，“我應該學Hadoop（hadoop是一款開源軟件，主要用于分布式存儲和計算，他由HDFS和MapReduce計算框架組成的，他們分別是Google的GFS和MapReduce的開源實現(xiàn)。由于hadoop的易用性和可擴展性，因此成為最近流行的海量數(shù)據(jù)處理框架。hadoop這個單詞來源于其發(fā)明者的兒子為一個玩具大象起的名字。）, 分布式計算，Kafka（Kafka是由LinkedIn開發(fā)的一個分布式基于發(fā)布/訂閱的消息電銷外呼程序）,NoSQL（泛指非關系型的數(shù)據(jù)庫）還是Spark（Spark 是一種與 Hadoop 相似的開源集群計算環(huán)境，但是兩者之間還存在一些不同之處）？”

而我通常只有一個答案：“這取決于你究竟想做什么?！?/p>

因此，讓我們用一種有條理的方式來解決這個問題。我們將一步步地探索這條學習之路。

2. 在大數(shù)據(jù)行業(yè)有哪些職業(yè)需求？

在大數(shù)據(jù)行業(yè)中有很多領域。通常來說它們可以被分為兩類：

這些領域互相獨立又互相關聯(lián)。

大數(shù)據(jù)工程涉及大量數(shù)據(jù)的設計，部署，獲取以及維護（保存）。大數(shù)據(jù)工程師需要去設計和部署這樣一個電銷外呼程序，使相關數(shù)據(jù)能面向不同的消費者及內部應用。

而大數(shù)據(jù)分析的工作則是利用大數(shù)據(jù)工程師設計的電銷外呼程序所提供的大量數(shù)據(jù)。大數(shù)據(jù)分析包括趨勢、圖樣分析以及開發(fā)不同的分類、預測預報電銷外呼程序。

因此，簡而言之，大數(shù)據(jù)分析是對數(shù)據(jù)的高級計算。而大數(shù)據(jù)工程則是進行電銷外呼程序設計、部署以及計算運行平臺的頂層構建。

3.你的領域是什么，適合什么方向？

現(xiàn)在我們已經(jīng)了解了行業(yè)中可供選擇的職業(yè)種類，讓我們想辦法來確定哪個領域適合你。這樣，我們才能確定你在這個行業(yè)中的位置。

通常來說，基于你的教育背景和行業(yè)經(jīng)驗我們可以進行如下分類：

（包括興趣，而不一定與你的大學教育有關）

計算機科學

數(shù)學

因此，通過上面的分類，你可以把自己的領域定位如下：

例1：“我是一名計算機科學畢業(yè)生，不過沒有堅實的數(shù)學技巧。”

你對計算機科學或者數(shù)學有興趣，但是之前沒有相關經(jīng)驗，你將被定義為一個新人。

例2：“我是一個計算機科學畢業(yè)生，目前正從事數(shù)據(jù)庫開發(fā)工作。”

你的興趣在計算機科學方向，你適合計算機工程師（數(shù)據(jù)相關工程）的角色。

例3：“我正作為數(shù)據(jù)科學家從事統(tǒng)計工作。”

你對數(shù)學領域有興趣，適合數(shù)據(jù)科學家的職業(yè)角色。

因此，參照著定位你的領域吧。

（此處定義的領域對你確定在大數(shù)據(jù)行業(yè)的學習路徑至關重要。）

4.根據(jù)領域規(guī)劃你的角色

現(xiàn)在你已經(jīng)確定了你的領域，下一步，讓我們規(guī)劃出你要努力的目標職位吧。

如果你有卓越的編程技巧并理解計算機如何在網(wǎng)絡（基礎）上運作，而你對數(shù)學和統(tǒng)計學毫無興趣，在這種情況下，你應該朝著大數(shù)據(jù)工程職位努力。

如果你擅長編程同時有數(shù)學或者統(tǒng)計學的教育背景或興趣，你應該朝著大數(shù)據(jù)分析師職位努力。

5.如何成為一名大數(shù)據(jù)工程師

讓我們先定義一下，一名受到行業(yè)承認的大數(shù)據(jù)工程師都需要學習和了解什么。首先以及最重要的一步是確認你的需求。你不能在不清楚個人需求的情況下直接開始學習大數(shù)據(jù)。否則，你將一直盲人摸象。

為了明確你的需求，你必須了解常用的大數(shù)據(jù)術語。所以讓我們來看一下大數(shù)據(jù)到底意味著什么？

5.1 大數(shù)據(jù)術語

大數(shù)據(jù)工程通常包括兩個方面 – 數(shù)據(jù)需求以及處理需求。

5.1.1 數(shù)據(jù)需求術語

結構：你應該知道數(shù)據(jù)可以儲存在表中或者文件中。儲存在一個預定義的數(shù)據(jù)模型（即擁有架構）中的數(shù)據(jù)稱為結構化數(shù)據(jù)。如果數(shù)據(jù)儲存在文件中且沒有預定義模型，則稱為非結構化數(shù)據(jù)。（種類：結構化/非結構化）。

容量：我們用容量來定義數(shù)據(jù)的數(shù)量。（種類：S/M/L/XL/XXL/流）

Sink吞吐量：用電銷外呼程序所能接受的數(shù)據(jù)率來定義Sink吞吐量。（種類：H/M/L）

源吞吐量：定義為數(shù)據(jù)更新和轉化進入電銷外呼程序的速度。（種類：H/M/L）

5.1.2 處理需求術語

查詢時間：電銷外呼程序查詢所需時間。（種類：長/中/短）

處理時間：處理數(shù)據(jù)所需時間。（種類：長/中/短）

精度：數(shù)據(jù)處理的精確度。（種類：準確/大約）

5.2 你需要知道的電銷外呼程序和架構

情景1：

為分析一個公司的銷售表現(xiàn)需要設計一個電銷外呼程序，即創(chuàng)建一個數(shù)據(jù)池，數(shù)據(jù)池來自于多重數(shù)據(jù)源，比如客戶數(shù)據(jù)、領導數(shù)據(jù)、客服中心數(shù)據(jù)、銷售數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、博客等。

5.3 學習設計解決方案和技術

情節(jié)1的解決方案：銷售數(shù)據(jù)池

（這是我的個人解決方案，如果你想到一個更高明的解決方案請在下面分享一下）

那么，一個數(shù)據(jù)工程師會怎樣解決這個問題呢？

需要記住的一點是，大數(shù)據(jù)電銷外呼程序的目的不僅僅是無縫整合各種來源的數(shù)據(jù)呼叫中心系統(tǒng)，而使其可用，同時它必須能使得，用于開發(fā)應用電銷外呼程序的數(shù)據(jù)的分析和利用變得簡單迅速和易得（在這個案例中是智能控制面板）。

定義最后的目標：

1. 通過整合各種來源的數(shù)據(jù)創(chuàng)建一個數(shù)據(jù)池。

2. 每隔一定時間自動更新數(shù)據(jù)（在這個案例中可能是一周一次）。

3. 可用于分析的數(shù)據(jù)（在記錄時間內，甚至可能是每天）

4. 易得的架構和無縫部署的分析控制面板。

既然我們知道了我們最后的目標，讓我們盡量用正式術語制定我們的要求吧。

5.3.1 數(shù)據(jù)相關要求

結構：大部分數(shù)據(jù)是結構化的，并具有一個定義了的數(shù)據(jù)模型。但數(shù)據(jù)源如網(wǎng)絡日志，客戶互動/呼叫中心數(shù)據(jù)，銷售目錄中的圖像數(shù)據(jù)，產(chǎn)品廣告數(shù)據(jù)等是非結構化的。 圖像和多媒體廣告數(shù)據(jù)的可用性和要求可能取決于各個公司。

結論：結構化和非結構化數(shù)據(jù)

大?。篖或XL（選擇Hadoop）

Sink 吞吐量：高

質量：中等（Hadoop＆Kafka）

完整性：不完整

5.3.2 處理相關要求

查詢時間：中至長

處理時間：中至短

精度：準確

隨著多個數(shù)據(jù)源的集成，重要的是要注意不同的數(shù)據(jù)將以不同的速率進入電銷外呼程序。 例如，網(wǎng)絡日志可用高顆粒度連續(xù)流進入電銷外呼程序。

基于上述我們對電銷外呼程序要求的分析，我們可以推薦以下大數(shù)據(jù)體系。

6.大數(shù)據(jù)學習路徑

現(xiàn)在，你已經(jīng)對大數(shù)據(jù)行業(yè)，大數(shù)據(jù)從業(yè)人員的不同角色和要求有所了解。 我們來看看你應該遵循哪條路來成為一名大數(shù)據(jù)工程師。

我們知道大數(shù)據(jù)領域充斥著多種技術。 因此，你學習與你的大數(shù)據(jù)工作角色相關的技術非常重要。這與任何常規(guī)領域有點不同，如數(shù)據(jù)科學和機器學習中，你可以從某些地方開始并努力完成這一領域內的所有工作。

下面你會發(fā)現(xiàn)一個你應該通過的樹狀圖，以找到你自己的路。即使樹狀圖中的一些技術被指向是數(shù)據(jù)科學家的強項，但是如果你走上一條路，知道所有的技術直到“樹葉節(jié)點”總是很好的。 該樹狀圖源自lambda架構范例。

注釋：學習之路樹狀圖

任何想要調配應用程序的工程師必須知道的基本概念之一是Bash 腳本編程。你必須對linux和bash 腳本編程感到舒適。這是處理大數(shù)據(jù)的基本要求。

核心是，大部分大數(shù)據(jù)技術都是用Java或Scala編寫的。但是別擔心，如果你不想用這些語言編寫代碼，那么你可以選擇Python或者R，因為大部分的大數(shù)據(jù)技術現(xiàn)在都支持Python和R。

因此，你可以從上述任何一種語言開始。 我建議選擇Python或Java。

接下來，你需要熟悉云端工作。 這是因為如果你沒有在云端處理大數(shù)據(jù)，沒有人會認真對待。 請嘗試在AWS，softlayer或任何其他云端供應商上練習小型數(shù)據(jù)集。 他們大多數(shù)都有一個免費的層次，讓學生練習。如果你想的話，你可以暫時跳過此步驟，但請務必在進行任何面試之前在云端工作。

接下來，你需要了解一個分布式文件電銷外呼程序。最流行的分布式文件電銷外呼程序就是Hadoop分布式文件電銷外呼程序。在這個階段你還可以學習一些你發(fā)現(xiàn)與你所在領域相關的NoSQL數(shù)據(jù)庫。下圖可以幫助你選擇一個NoSQL數(shù)據(jù)庫，以便根據(jù)你感興趣的領域進行學習。

到目前為止的路徑是每個大數(shù)據(jù)工程師必須知道的硬性基礎知識。

現(xiàn)在，你決定是否要處理數(shù)據(jù)流或靜止的大量數(shù)據(jù)。 這是用于定義大數(shù)據(jù)（Volume，Velocity，Variety和Veracity）的四個V中的兩個之間的選擇。

那么讓我們假設你已經(jīng)決定使用數(shù)據(jù)流來開發(fā)實時或近實時分析電銷外呼程序。 之后你應該采取卡夫卡(kafka)之路，或者還可以采取Mapreduce的路徑。然后你按照你自己創(chuàng)建的路徑。 請注意，在Mapreduce路徑中，你不需要同時學習pig和hive。 只學習其中之一就足夠了。

總結：通過樹狀圖的方式。

從根節(jié)點開始，并執(zhí)行深度優(yōu)先的通過方式。

在每個節(jié)點停止查驗鏈接中給出的資源。

如果你有充足的知識，并且在使用該技術方面有相當?shù)男判?，那么請轉到下一個節(jié)點。

在每個節(jié)點嘗試完成至少3個編程問題。

電銷電話到下一個節(jié)點。

到達樹葉節(jié)點。

從替代路徑開始。

最后一步（＃7）阻礙你！ 說實話，沒有應用程序只有流處理或慢速延遲數(shù)據(jù)處理。 因此，你在技術上需要成為執(zhí)行完整的lambda架構的高手。

另外，請注意，這不是學習大數(shù)據(jù)技術的唯一方法。 你可以隨時創(chuàng)建自己的路徑。 但這是一個可以被任何人使用的路徑。

如果你想進入大數(shù)據(jù)分析世界，你可以遵循相同的路徑，但不要嘗試讓所有東西都變得完美。

對于能夠處理大數(shù)據(jù)的數(shù)據(jù)科學家，你需要在下面的樹狀圖中添加一些機器學習渠道呼叫中心系統(tǒng)，并將重點放在機器學習渠道上，而不是下面提供的樹狀圖。 但我們可以稍后討論機器學習渠道。

根據(jù)你在上述樹狀圖中使用的數(shù)據(jù)類型，添加選擇的NoSQL數(shù)據(jù)庫。

該表格表示數(shù)據(jù)存儲類型要求及相應的軟件選擇

如你所見，有大量的NoSQL數(shù)據(jù)庫可供選擇。 所以它常常取決于你將要使用的數(shù)據(jù)類型。

而且為了給采用什么類型的NoSQL數(shù)據(jù)庫提供一個明確的答案，你需要考慮到你的電銷外呼程序需求，如延遲，可用性，彈性，準確性當然還有你當前處理的數(shù)據(jù)類型。

7.資源

初學者的Bash指南，來自Machtelt Garrels

1.Python

2. Java

3. 云

4. HDFS

5. Apache Zookeeper

7. SQL

8. Hive

9. Pig

10. Apache Storm

12. Apache Spark

13. Apache Spark Streaming