編輯推薦

僅僅會Python編程是不夠的。想成為一名優秀的數據分析工程師，還需要有全方位、透徹理解問題本質的能力，善於把實際的工作任務拆解成準確的數據問題，並運用相關的知識來解決。

本書恰好是從這個角度齣發的，它條分縷析地幫助你認識任務的本質，教你從數據的角度來思考、拆解任務，並最終順利地達成目標。

內容簡介

Python 已成為廣受數據科學領域歡迎的開發語言。本書契閤這一趨勢，結閤具體的業務場景，從數據思維的角度齣發，剖析各業務環節中數據處理的策略、算法，並運用Python 代碼呈現翔實的案例，構建齣一個完整的數據分析體係。

在內容的組織和安排上，本書層次分明、詳略得當：針對簡單的數據分析工作，讀者可以先瀏覽第1 章至第3 章；專職從事數據分析的工程師可以通篇閱讀本書，以構建數據處理工程的完整知識框架；最後一章針對從事大數據分析的工程師提供瞭一些常見問題的解決思路和方法。

本書既適閤剛接觸數據工程的從業人員作為入門參考，也可以幫助具有一定經驗的數據工程師搭建知識體係，洞悉業務場景中的數據奧秘，得心應手地運用數據指導業務。

作者簡介

黃文青，目前在百度公司任職，從事大數據、機器學習方嚮的研究與學習。對於如果成為一名數據工程師，有自己獨特的理解與實踐。

精彩書評

數據工程師必備三大技能：數據工程能力、數據分析能力、業務能力，三者相輔相承，缺一不可。本書從這三個方麵齣發，以簡單易懂的Python為基礎工具，介紹瞭很多基礎知識和工程案例，讀起來非常痛快！

——路人甲，公眾號《一個程序員的日常》

基於開源的第三方庫和活躍的社區支持，Python數據科學生態體係得到瞭快速的發展，越來越多的數據工程師選擇Python作為開發語言。然而，在實際工作中，許多工程師往往側重於需求實現而忽視對業務的理解。本書針對這一盲區，根據不同的業務場景，從數據的角度梳理、思考問題，並有針對性地闡述瞭不同的策略、算法和案例。

在跟隨本書學習的過程中，我們可以從全局上深入理解數據分析的精髓，並融會貫通——這對於初學者和初級數據工程師的能力提升尤為重要。

——阿橙， 《 Python中文社區》公眾號主編

數據分析是近年來的熱點。幾乎所有的互聯網公司在産品上都告彆瞭“拍腦袋”做決定的方式，而選擇“用數據說話”。因此，也有越來越多的人投入到相關領域當中。Python作為數據分析的重要語言，受到瞭廣泛關注。然而，對於想要成為數據工程師的人來說，僅完成編程語言的學習是遠遠不夠的。本書恰恰為這一階段的學習者提供瞭很好的幫助：從數據分析的基本理論，到業內實踐中的分析流程和常用工具，本書均做瞭較為完整的梳理。

除瞭理論講解外，書中還附帶瞭不少分析實例，便於讀者理解和演練；此外，作者的行業經驗保證瞭本書的實用性，為入行者指齣瞭清晰的學習路徑。

——Crossin，公眾號《Crossin的編程教室》作者、碼課創始人

Python 語言繼在 Web 大潮之下成為網站快速開發、服務端運維的明星語言之後，隨著人工智能技術的飛速發展又迎來瞭新的一波高潮，成為人工智能領域的*選編程語言。

Python 語言易學易用，有豐富的數據處理包，社區也相當成熟，在數據工程師群體中是非常流行的語言。作為中國*早一批使用 Python 的人之一，看見 Python 逐步從一門小眾語言變成推動技術進步的主流語言，很是欣慰。希望此書能夠幫助有誌於成為*級數據工程師的朋友更好地掌握這門優秀的語言。

——洪強寜，愛因互動創始人兼CTO

人工智能是當下*熱門的技術領域之一，各大廠商緊鑼密鼓進行戰略布局：自動駕駛、個人助手、醫療健康、電商零售、金融、教育……如果把人工智能比喻成火箭，那麼數據就是燃料。不管你是從事人工智能、機器學習，還是數據分析，都離不開數據，由此誕生瞭數據工程師的職業。

本書從數據分析、數據挖掘、深度學習等方麵介紹瞭一名數據工程師應該掌握的數據工程的方法和數據分析的思路，書中總結的數學公式和代碼實踐讓原來枯燥的概念變得有滋有味。有誌於成為數據工程師的你，細細“品嘗”本書，必有收獲！

——劉誌軍，公眾號《Python之禪》

本書內容由淺入深，分彆介紹瞭數據分析的常用工具、Python在數據分析方麵常用的包、如何運用Python做基礎的統計分析和如何運用Python做數據建模……讀完以後令人有一種從侏羅紀時代穿梭到未來時代的感覺，信息量很大。

更難得的是作者擁有工業界的背景，這使他可以從實踐操作的角度，手把手教您打造一把數據分析的利劍。

一言以概之，本書沒有繁雜的數學公式，隻有擠不齣水的乾貨。

——挖數，公眾號Washu66

目錄

1 概述 / 1
1．1 何為數據工程師 / 1
1．2 數據分析的流程 / 3
1．3 數據分析的工具 / 11
1．4 大數據的思與辨 / 14
2 關於Python / 17
2．1 為什麼是Python / 17
2．2 常用基礎庫 / 19
2．2．1 Numpy / 19
2．2．2 Pandas / 26
2．2．3 Scipy / 37
2．2．4 Matplotlib / 38
3 基礎分析 / 43
3．1 場景分析與建模策略 / 43
3．1．1 統計量 / 43
3．1．2 概率分布 / 48
3．2 實例講解 / 55
3．2．1 誰的成績更優秀 / 55
3．2．2 應該庫存多少水果 / 57
4 數據挖掘 / 60
4．1 場景分析與建模策略 / 60
4．1．1 分類 / 61
4．1．2 聚類 / 76
4．1．3 迴歸 / 86
4．1．4 關聯規則 / 90
4．2 數據挖掘的重要概念 / 93
4．2．1 數據預處理 / 93
4．2．2 評估與驗證 /97
4．2．3 Bagging 與Adaboost / 99
4．2．4 梯度下降與牛頓法 / 102
4．3 實例講解 /105
4．3．1 信用卡欺詐監測 / 105
4．3．2 員工離職預判 /110
5 深度學習/ 114
5．1 場景分析與建模策略 / 115
5．1．1 感知機 / 115
5．1．2 自編碼器 / 119
5．1．3 限製玻爾茲曼機 /123
5．1．4 深度信念神經網絡 / 127
5．1．5 捲積神經網絡 / 129
5．2 人工智能應用概況 / 137
5．2．1 深度學習的曆史 /137
5．2．2 人工智能的傑作 / 140
5．3 實例講解 / 146
5．3．1 學習識彆手寫數字 / 146
5．3．2 讓機器認識一隻貓 / 151
6 大數據分析 / 160
6．1 常用組件介紹 / 160
6．1．1 數據傳輸 / 165
6．1．3 數據計算 / 174
6．1．4 數據展示 / 180
6．2 大數據處理架構 / 188
6．2．1 Lambda 架構 / 189
6．2．2 Kappa 架構 / 192
6．2．3 ELK 架構 / 193
6．3 項目設計 / 194
參考文獻 / 202

前言/序言

數據分析、數據挖掘、深度學習及雲計算，是當前最熱門的技術領域。1830年前後，Gauss、Legendre 等數學傢奠基瞭數據分析的基礎理論；1943 年，心理學傢Warren McCulloch 和數理邏輯學傢Walter Pitts 首次提齣神經網絡；19 世紀80 年代，Hinton、Yann LeCun 等人提齣BP 算法及捲積神經網絡；2006 年，深度置信網絡研究成果發錶。至此，數據建模理論研究的宏觀大廈已初見雛形。

曆史是如此的巧閤，正當需要海量數據集和工程技術方案來處理數據時，雲計算應運而生。2003 年，榖歌發錶關於Google File System、Google Bigtable 及MapReduce 三篇論文，讓大數據處理技術風靡全球。以此為基礎，2010 年前後，整個雲計算的概念及技術體係已經非常完善瞭。

數據理論的完善、工程技術的發展與無數創意的結閤，使得2010 年以後，整個人類社會進入瞭“數據時代”。無論是精細化運營，還是人工智能産品，對數據的應用無處不在；無論是政府機構，還是私有的大、中、小型企業，使用數據的熱情都達到空前的高度。

2014 年，我加入百度公司，從事大數據處理及數據建模等相關工作。迴首過往，在該領域的幾年中，我經曆瞭雲計算從霧裏看花到如今的方興未艾；人工智能的初現端倪到如今的高潮迭起。作為一名前綫的數據工程師， 我深刻認識到，對我及大多數工程師而言，既無法像Jeff Dean 等一樣提齣經典的大數據計算模型；也無法像Hinton、Yann LeCun 一樣提齣具有深遠影響的建模算法。我們所要做的，就是學習與汲取當前的理論與技術，結閤應用領域，實現工程應用。這也是我寫本書的初衷，希望能從宏觀框架上梳理已有的數據分析理論與工程實施技術，並搭建相對係統的知識體係；同時，闡述工作實踐中遇到的問題及解決的思路。

Python 簡潔易懂的語法、豐富的類庫、與大數據組件的無縫集成等諸多特點，使其成為數據工程師的首選編程語言。當然，隻是掌握Python 還完全不足以成為頂級數據工程師，因此，本書介紹數據處理知識體係，並以Python 實現相關代碼示例，力求讓讀者能使用Python 完成數據處理的各個環節。

本書的第1 章和第2 章，簡要說明瞭數據處理領域的基本概念，旨在讓讀者對數據處理工作有宏觀的瞭解。第3 章～第5 章，主要講述數據分析理論。筆者按照難易程度，將其劃分成三個部分，即基礎分析、數據挖掘和深度學習。第6章針對大數據分析，介紹瞭在工程實施過程中需要用到的工程組件和架構模式，並以一個具體的案例說明整個數據工程的實施流程。

本書適閤以下讀者閱讀：① 對人工智能和雲計算感興趣的讀者；② 剛進入數據處理領域的IT 工程師；③ 希望從宏觀上梳理數據處理知識體係的讀者；④ 用Excel、SPSS、Python 做過數據分析的數據分析師；⑤ 應用過HDFS、Kafka等大數據組件的IT 工程師。

本書能夠完稿，得益於外界諸多的幫助與指導。感謝數據領域的先驅者Geoffrey Hinton、Yann LeCun、Jeff Dean 等，他們的著作是數據時代最重要的理論依據；感謝在百度工作中遇到楊振宇、李華青、王瑉然、陳閤等許多優秀的同事和領導，在和他們一起試錯、交流的過程中，讓我取得巨大的進步；感謝本書的編輯劉皎，在她不厭其煩地督促下，本書纔從淩亂的隻言片語中編輯成書；特彆感謝女友孫萬興，在本書的撰寫過程中給予的諒解與支持。

還沒看，希望對提升自己有幫助，

一直在京東買東西

書還沒看，希望能有幫助吧，希望自己能看完，不浪費錢

寫的還比較有乾貨啦 不過做産品 感覺一直是挺玄的東西 哈哈

內容挺豐富的，值得學習。

很好，很不錯很適閤我，謝謝，耶耶耶

京東速度快，東西很好，這本書很好用

送客戶用的，還可以。還會來拍。

主要是買的方便，一天到手。