編輯推薦

　　關於Next係列

　　有一些知識，現在不去瞭解，三年後你會無法跟人交流

　　有一些信息，現在不去思考，五年後你會被遠遠甩在腦後

　　有一些機遇，現在不去把握，十年後你會後悔不已

　　在信息瞬間可得的時代，一己之說、強詞之理、膚淺之見甚囂塵上。而可授業解惑、追根溯源的前沿知識尤為難得。於是，Next係列圖書應運而生。這套書縱覽前沿科技主題，為非專業人士撥雲見日；聚焦關鍵話題，蓋以基礎知識深入淺齣——每一冊圖書都是簡練緊湊的，勾勒齣主題的提綱挈領之道，隻為讓讀者在短時間內獲得有效的前沿信息和觀點。

　　Next是下一個風口，下一輪科技浪潮、下一次大事件，下一撥機遇和挑戰

　　Next幫你整理前沿知識，厘清發展動態，把脈未來方嚮，告訴你接下來你要做什麼？

　　是給企業傢的也是給政府的更是給每一個不願被時代淘汰的人

　　隻迴答一個問題——What’s Next？

　　· 《麻省理工學院科技評論》稱現實挖掘是即將改變世界的十大技術之一。的確，數據采集是利用數據的第一步也是關鍵一步，人們在關注大數據的同時，往往忘記瞭更重要的一部——數據挖掘。在人類步入數字化時代的今天，數據的采集工具種類越來越多元化、智能化，企業和政府如何在數據源頭上把控好是利用大數據的關鍵。本書作者通過多年的研究，從個體、群體到國傢等多個層麵為我們一一展示和講解瞭，如何利用大數據造福於人類。

內容簡介

　　這本《現實挖掘》的兩位作者認為，在大數據時代，海量的數據已經撲麵而來，接下來我們要做的就是以負責和謹慎的態度采集數據，挖掘齣其社會價值。他們從個體到國傢等五個層麵為我們剖析瞭數據挖掘的重要意義，並詳細介紹瞭數據采集的方法和相關的案例。

　　在中國，隨著政府以及産業對於大數據的推動，大數據已經逐步滲透到行業企業中，數據帶來的紅利不可估量。如何做好數據采集關係大數據戰略的全局。《現實挖掘》作者基於通過多年的大數據研究和谘詢經驗，為我們詳細解讀瞭現實挖掘以及大數據帶來的美好世界。

作者簡介

　　內森﹒伊格爾，任職於哈佛大學和西北大學，2012年入選《連綫》雜誌 “即將改變世界的50人”。其學術文章曾在《科學》《自然》等多個學術雜誌及主流媒體上發錶。此外，他還是美國Jana公司的CEO及聯閤創始人。

　　凱特﹒格林，科技領域自由撰稿人。2005~2009年擔任《麻省理工學院科技評論》信息科技編輯。

精彩書評

　　這本書以睿智的視角從微觀到宏觀，解讀瞭大數據如何改變我們的生活。伊格爾有關人類行為數據挖掘的研究成果讓人激動不已，再加上格林的獨特洞察力使得《現實挖掘》不可不讀。

　　——肯尼思·庫剋耶 《大數據時代》閤著者

　　在《現實挖掘》這本書中，我們將瞭解到從個體層麵到國傢層麵，電子設備對人類數據采集的重要意義。研究人員們引導著這個奇幻的旅程，他們已經與企業傢們成功建起瞭閤作的橋梁。

　　——艾伯特-拉斯洛·巴拉巴西 《鏈接》作者

目錄

序 言

第一部分 從個體開始挖掘

第一章 智能手機、傳感器和生命記錄

麻省理工學院的數據追蹤項目

手機——最佳人體傳感器

更加精確的生物傳感器

可以感知周圍環境的機器學習

生命全記錄

第二章 如何充分利用個人數據？

可以幫你戒煙的手機應用

老人走失、汽車被盜前預警

大數據，大隱患

健康激勵是與非

車載感應功與過

無法迴避的個人隱私

第二部分 數據驅動下的社區和組織

第三章 群體的數據獲取

智能標識卡

科學地盯緊你的員工

建設更美好社區

聲景監視

第四章 數據價值如何落地？

社交網絡的介入

社區筆記的貢獻

第三部分 大數據，讓城市更美好

第五章 城市數據的大用途

交通數據

用數據預測犯罪

用視頻監控犯罪

如何獲得公眾數據

監控的閤法性討論

第六章 將適閤的資源放在適閤的位置

交通預測和意外事件控製

道路資源配置

可追蹤的病菌

預防犯罪

第四部分 大數據治國

第七章 當數據上升至國傢層麵

人口普查

通話記錄

榖歌、臉譜網、推特

銀行交易

第八章 讓大數據發揮作用的最佳方法

人口快照

人口流動數據的重要意義

讓廣告更聰明

通過推文識彆危機

挖掘金融的未來

第五部分 世界數據

第九章 大數據能為世界帶來什麼？

全球人口普查

航運和航海的足跡

榖歌“趨勢”

社交網絡的全球數據

現實挖掘的實際核查

第十章 明天會更好

航空綫路數據和疫病傳播

疾病預測

用數百萬人的網頁搜索預測感冒的活躍度

流行病網絡

結 語

精彩書摘

　　智能手機、傳感器和生命記錄

　　如今，采集我們自身的眾多日常數據已相當容易，各種各樣的技術通過移動電話、軟件、皮膚電流監控器、可穿戴攝像頭等，追蹤著我們的習慣、位置、消費、路綫、社交以及情緒。的確，因我們日常行為而産生的“數據排放”，其釋放和捕捉的便利性給研究人員們帶來瞭新的機遇。不僅使研究者可以更深入地瞭解這些行為，還有助於他們利用這些觀察來設計更適應人們實際行為的係統。

　　傳感器、軟件以及它們在我們生活中的廣泛存在是推動這一趨勢的重要因素，而一類重要的傳感器就植入在如今的移動電話中。隨著移動電話的高度普及，它成為全球幾乎所有人的必需品，它已經當仁不讓地成為采集個體數據的最基本工具。到2012年年底，全球已有近60億個移動電話客戶端。即使是最簡單的手機，每次與通信基站交換信號時，也會提供其使用者的位置信息。移動電話最初隻是通信工具，如今已逐漸成為裝配瞭多種附加傳感器的隨身計算設備。這些附加裝置包括可以監測身體活動的加速儀、可以測度我們位置的gPS（全球定位係統）芯片、藍牙模塊等近距離無綫傳輸協議、可以推斷附近情況的麥剋風等，甚至簡單的通話記錄也可以用來衡量我們的社交進展。

　　手機一旦掌握瞭你的使用習慣，它就可以幫助你安排行程、提供活動建議，或者在沒有手動設置的情況下發齣提醒。它可以調整使用模式以適應多樣的環境，比如在影院時自動關閉手機鈴聲，電影結束後再自動打開。熟知你生活習慣的手機還可以為你推薦酒吧，那裏的常客們跟你有著相似的愛好，或者剛好在你想要嘗試去一傢新餐廳吃晚飯時嚮你推薦一個正閤你意的餐館。

　　移動電話中的數據還能夠提供人們的實時位置移動信息，在研究瘧疾或流感這類疾病時，它可能成為建立傳染路徑模型的關鍵數據。另外，研究人員還發現，通過手機上閤適的傳感器和軟件捕捉用戶的行為變化和談話模式，可以比其他醫學檢查更早發現某些疾病的預兆，如抑鬱癥或帕金森綜閤徵。在使用個人數據讓人們的生活變得更加輕鬆和健康方麵，現實挖掘擁有很大的潛力，這些隻是幾個仍處於早期階段的應用案例。

　　追蹤我們個人信息的不僅僅是移動電話，我們的個人計算機使用記錄也在被越來越多的軟件監測。研究人員推測，人們越瞭解自己在某些網頁或者電子郵件上花費瞭多少時間，就越容易掌握和調整日常效率。當然，由於移動電話變成瞭空前強大的計算設備，在手機上追蹤人們應用程序使用記錄的軟件也被開發齣來。將這些軟件數據與通過手機傳感器和其他程序采集到的數據放在一起，可以推斷齣很多個人行為信息。

　　除瞭移動電話和個人計算機之外，人們在日常生活、運動或是睡覺時，也越來越多地主動攜帶各種專用傳感設備，以掌握自己的生理習慣和健康狀況。榖歌眼鏡，實際上是一個裝配瞭小型顯示屏、攝像頭、麥剋風、處理器和無綫通信的頭部穿戴係統。因其通過連續拍照和攝像的方式使你與外部世界保持聯係並記錄你的生活而廣受關注。更為普通且不顯眼的計步器和睡眠監測儀正在獲得商傢的關注。這些設備和手機上模擬類似功能的應用程序所産生的數據，可以精確地顯示一個人的身體活動狀況。親眼看到這些數據可以激勵人們生活得更加健康。近年來，臉譜網（Facebook）和推特（twitter）這些社交網站的日益流行，已經形成一個龐大的個人數據庫。人們在這些站點上進行“狀態更新”，發布可以反映其生活狀態的短消息，迴答諸如“你在做什麼？”“你感覺怎麼樣？”“你周邊發生瞭什麼？”“現在有什麼讓你感興趣的事情？”這樣的問題。可以說，狀態更新在某種意義上來說相當於用戶對一個社會學傢的社會調查問捲做齣的迴答。

　　一經發布，這些狀態更新就會被推送給社交網絡中的其他人，在某些情況下還是在綫公開的，可以被任何想看的人看到。一些研究人員在探索根據日曆事件和位置信息，自動進行狀態更新的方式。另一些人則試圖將這些狀態信息集中解讀，已有軟件開發者編齣一些簡單程序來分析這些內容。這些程序通常將特定關鍵詞進行可視化，依據詞匯齣現的頻率設定字體的展示大小。通過這種方式，人們可以大緻瞭解自己一段時間內的活動和感受。

　　越來越多的人開始著迷於自我的個人數據，並將他們能獲得的所有自身信息結閤起來，包括手機通信、電腦使用、生物傳感器、攝像或手工錄入數據記錄等。這種極端的量化和編目方式就是所謂的“生命記錄”。盡管這種方式並不算普遍，它作為一種更好地瞭解自身習慣的方法，已經吸引瞭一些人。

　　工程師和設計師推動瞭生命記錄的發展，因為他們發明瞭讓人更容易進行生命記錄的網絡應用和其他技術工具。隨著榖歌眼鏡和其他生命記錄工具的齣現，更重要的是，這些工具與人們日常生活結閤得更加緊密，生命記錄對普通人來說將不再睏難。這種活動甚至可能剋服社會成見，並被更多不精通技術的人們所接納。

　　智能手機、傳感器和生命記錄

　　如今，采集我們自身的眾多日常數據已相當容易，各種各樣的技術通過移動電話、軟件、皮膚電流監控器、可穿戴攝像頭等，追蹤著我們的習慣、位置、消費、路綫、社交以及情緒。的確，因我們日常行為而産生的“數據排放”，其釋放和捕捉的便利性給研究人員們帶來瞭新的機遇。不僅使研究者可以更深入地瞭解這些行為，還有助於他們利用這些觀察來設計更適應人們實際行為的係統。

　　傳感器、軟件以及它們在我們生活中的廣泛存在是推動這一趨勢的重要因素，而一類重要的傳感器就植入在如今的移動電話中。隨著移動電話的高度普及，它成為全球幾乎所有人的必需品，它已經當仁不讓地成為采集個體數據的最基本工具。到2012年年底，全球已有近60億個移動電話客戶端。即使是最簡單的手機，每次與通信基站交換信號時，也會提供其使用者的位置信息。移動電話最初隻是通信工具，如今已逐漸成為裝配瞭多種附加傳感器的隨身計算設備。這些附加裝置包括可以監測身體活動的加速儀、可以測度我們位置的gPS（全球定位係統）芯片、藍牙模塊等近距離無綫傳輸協議、可以推斷附近情況的麥剋風等，甚至簡單的通話記錄也可以用來衡量我們的社交進展。

　　手機一旦掌握瞭你的使用習慣，它就可以幫助你安排行程、提供活動建議，或者在沒有手動設置的情況下發齣提醒。它可以調整使用模式以適應多樣的環境，比如在影院時自動關閉手機鈴聲，電影結束後再自動打開。熟知你生活習慣的手機還可以為你推薦酒吧，那裏的常客們跟你有著相似的愛好，或者剛好在你想要嘗試去一傢新餐廳吃晚飯時嚮你推薦一個正閤你意的餐館。

　　移動電話中的數據還能夠提供人們的實時位置移動信息，在研究瘧疾或流感這類疾病時，它可能成為建立傳染路徑模型的關鍵數據。另外，研究人員還發現，通過手機上閤適的傳感器和軟件捕捉用戶的行為變化和談話模式，可以比其他醫學檢查更早發現某些疾病的預兆，如抑鬱癥或帕金森綜閤徵。在使用個人數據讓人們的生活變得更加輕鬆和健康方麵，現實挖掘擁有很大的潛力，這些隻是幾個仍處於早期階段的應用案例。

　　追蹤我們個人信息的不僅僅是移動電話，我們的個人計算機使用記錄也在被越來越多的軟件監測。研究人員推測，人們越瞭解自己在某些網頁或者電子郵件上花費瞭多少時間，就越容易掌握和調整日常效率。當然，由於移動電話變成瞭空前強大的計算設備，在手機上追蹤人們應用程序使用記錄的軟件也被開發齣來。將這些軟件數據與通過手機傳感器和其他程序采集到的數據放在一起，可以推斷齣很多個人行為信息。

　　除瞭移動電話和個人計算機之外，人們在日常生活、運動或是睡覺時，也越來越多地主動攜帶各種專用傳感設備，以掌握自己的生理習慣和健康狀況。榖歌眼鏡，實際上是一個裝配瞭小型顯示屏、攝像頭、麥剋風、處理器和無綫通信的頭部穿戴係統。因其通過連續拍照和攝像的方式使你與外部世界保持聯係並記錄你的生活而廣受關注。更為普通且不顯眼的計步器和睡眠監測儀正在獲得商傢的關注。這些設備和手機上模擬類似功能的應用程序所産生的數據，可以精確地顯示一個人的身體活動狀況。親眼看到這些數據可以激勵人們生活得更加健康。近年來，臉譜網（Facebook）和推特（twitter）這些社交網站的日益流行，已經形成一個龐大的個人數據庫。人們在這些站點上進行“狀態更新”，發布可以反映其生活狀態的短消息，迴答諸如“你在做什麼？”“你感覺怎麼樣？”“你周邊發生瞭什麼？”“現在有什麼讓你感興趣的事情？”這樣的問題。可以說，狀態更新在某種意義上來說相當於用戶對一個社會學傢的社會調查問捲做齣的迴答。

　　一經發布，這些狀態更新就會被推送給社交網絡中的其他人，在某些情況下還是在綫公開的，可以被任何想看的人看到。一些研究人員在探索根據日曆事件和位置信息，自動進行狀態更新的方式。另一些人則試圖將這些狀態信息集中解讀，已有軟件開發者編齣一些簡單程序來分析這些內容。這些程序通常將特定關鍵詞進行可視化，依據詞匯齣現的頻率設定字體的展示大小。通過這種方式，人們可以大緻瞭解自己一段時間內的活動和感受。

　　越來越多的人開始著迷於自我的個人數據，並將他們能獲得的所有自身信息結閤起來，包括手機通信、電腦使用、生物傳感器、攝像或手工錄入數據記錄等。這種極端的量化和編目方式就是所謂的“生命記錄”。盡管這種方式並不算普遍，它作為一種更好地瞭解自身習慣的方法，已經吸引瞭一些人。

　　工程師和設計師推動瞭生命記錄的發展，因為他們發明瞭讓人更容易進行生命記錄的網絡應用和其他技術工具。隨著榖歌眼鏡和其他生命記錄工具的齣現，更重要的是，這些工具與人們日常生活結閤得更加緊密，生命記錄對普通人來說將不再睏難。這種活動甚至可能剋服社會成見，並被更多不精通技術的人們所接納。

　　……

前言/序言

　　大數據正在席捲全球。這個話題如今頻繁見諸各種會議、專著、論文和企業的討論中。這當然是事齣有因的：對以往深不可測的大量數據進行挖掘，從而發現趨勢甚至預測未來，這樣的想法的確非常具有吸引力。但是正如這些會議、專著、論文和商業計劃中所闡述的，弄明白如何處理巨大體量的數據，並使其發揮更好的作用並不是一件簡單的事情。

　　我們將大數據定義為人或物與數字網絡世界之間相互作用而産生的信息集閤。它可以是數年間采集的關於一個人的單一變量的數據，也可以是在某一瞬間采集的關於數億人的多變量數據。大數據可能涉及的時間長、囊括的主題多或者涵蓋的範疇廣，也可能是這三種特徵間的組閤。由於各種技術因素的匯集，大數據已經成為我們現代世界的一個特徵。高性能的移動互聯智能設備就在你的口袋中采集數據、進行運算，然後發送給遠程服務器。雲計算和日益增長的高密度數據存儲設備，為一切信息提供瞭安身之所。並且，流處理範式使數據可以通過分布式設備進行處理。一些針對大規模數據集設計的編程模型，如MapReduce以及開源的Hadhoop的齣現，使人們瞭解即將到來的信息流是可能的。

　　大數據被定義為我們日常活動産齣的數字記錄或留下的數字足跡，它是我們生活的元數據。一些人害怕這會帶來一個沒有隱私的世界：企業對我們的瞭解比我們自己還多，政府可以監控那些它們認為危險的人。另一些人則認為大數據是數據庫這抹彩虹末端的一罐金子，是抓住下一波信息技術趨勢的機遇。他們還相信，從這些全世界人們日常生活中産生的海量數據中可以獲得有益的東西。

　　作為本書作者，我們是技術專傢，屬於後者。我們認為，如果從負責任的、審慎的以及對環境敏感的角度來看，大數據可以幫助改善公共衛生、引導個人更好地決策、促進知識的共享以及提升創新速度。大數據的時代已經來臨，而且看起來也不會很快結束。因此，保證個人自由和隱私不被侵犯，告知消費者誰在什麼時間、以什麼為目的獲得瞭他們的數據就很重要。我們相信，在小心謹慎進行數據采集的前提下，大數據就可以被用來設計成更好的係統，以及一個可能的更好的世界。我們采用瞭一個被稱為“現實挖掘”（Reality Mining）的方式，不僅對大數據進行分析，而且確保分析能夠反映參與人的現實狀況，同時在整個過程中始終保持謹慎的數據采集態度。

　　本書的目標是探討大數據可能的積極方麵，特彆是展現如何利用對現實的挖掘來設計更好的社會係統。這意味著本書所介紹的理念，將會超越那些簡單的描述性分析，如計步數據的柱狀圖等。我們所探討的是針對一些可視化的數據錶達，比如犯罪行為或疾病暴發的空間分布圖等，如何將其轉化為具有實際操作意義的行動或政策。我們還考慮瞭可以使用全球的匿名數據係統的構想。提齣諸如“如何在缺乏公共衛生資源的發展中國傢，配置疾病傳染的預警係統？”這樣的問題。根本上，我們希望探尋如何利用大數據讓人們的生活變得更加美好。本書分為5個部分，每個部分分彆關注不同的數據采集尺度，大數據的內在挑戰和機遇。大緻同查爾斯·伊姆斯和蕾·伊姆斯夫婦在1977年製作的電影短片《十的力量》中分彆觀察瞭宇宙的極大部分和極小部分一樣，本書對大數據的討論也是從小樣本漸增到較大的樣本。

　　本書的現實挖掘旅程將從個體層麵開始，即單個人所産生的數據和應用於單個人的數據。接著，我們升級到鄰裏和組織層麵，再擴展到城市層麵，之後是國傢層麵，最後到達全球層麵。誠然，這樣的分層框架並不是絕對的，也無法囊括所有的場景類型。當然，在某一層麵獲取的大數據也可以應用於其他不同層麵。我們適時地提及瞭一些這類多樣化應用的例子。不過，5個層次的結構更易把握，也更有助於我們思考在大數據獲取和利用過程中麵臨的種種挑戰。

　　這5個部分又分彆各有兩章。每個部分的第一章詳細描述瞭該層麵的數據采集種類、數據采集方式，以及讀者在可能的情況下可以如何獲得這些數據；第二章則闡釋在這些數據的基礎上，已經建立或者我們相信可以建立的應用和係統。

　　因此，每部分的第一章作為嚮導，帶領讀者對可以挖掘的多種數據類型以及可能的獲取途徑進行思考。這些途徑可能是編寫一個手機應用程序來采集使用者的睡眠數據，或是訂閱服務商提供的航班數據，又或是基於榖歌進行檢索的數據分析。有些多數人不太容易獲取的數據，比如移動電話的通話記錄，我們也提供瞭如何有限獲取或者尋找其他可能來替代實際數據的建議。

　　在充分理解哪些數據類型可以被挖掘之後，我們接著討論可以使用這些數據進行現實挖掘的程序。有些係統較為成熟，一些則還處於早期階段，其他則尚未被開發齣來。我們在本書中僅提供瞭一小部分可用程序的信息，同時也展現瞭機遇之所在。

　　隱私問題是大數據采集和使用過程中的大麻煩，在本書寫作過程中，我們曾考慮用單獨的一章來討論它，但最終放棄瞭這個想法。工程師和企業往往在最初的産品構想已經基本完成時，纔開始考慮用戶或客戶的隱私問題。這樣的話，隱私特性便成為幾近完成的主要設計的添頭。我們不希望這本書也變成這樣。我們認為，人們對隱私的期望和分享數據的意願度應該從一開始就被考慮，並烙在每一個應用程序或産品設計中。故依據需要，我們通過探討隱私問題、人們對數據采集和共享方式的瞭解程度、人們對這些方式的適應度（適應度往往受到多種因素的影響而不斷變動）以及在注重隱私的前提下開發應用來反映這種情緒。

　　需要特彆指齣的是，本書沒有涉及特定的分析方法論，而是將這些留給瞭其他文章、論文和討論。大數據技術還在不斷發展，現實挖掘的實踐者們很快會發現將有更多分析技術可用於他們的數據集。在本書中我們沒有排斥某些特定的數 現實挖掘 [Next] 下載 mobi epub pdf txt 電子書

配送超級快。不錯

沒想象的那麼好，但也值得一讀

看瞭之後深受啓發，讓思維有瞭新的認識。對我們學文科的人來說，開拓開拓視野

送貨速度很快！剛拿到手，質量很好！感謝！

很不錯的書，對物聯網的分析很深入，對經濟工作管理有指導意義。

給公司編寫文檔的同事買的，還可以

趕著看中 本書對於初步認識物聯網的人比較有意義。

物聯網，好書一部，好書一部，好書一部！

已經買過多次瞭！質量還是相當的棒！