發表於2024-11-15
大數據資源 pdf epub mobi txt 電子書 下載
《大數據資源》是上海市數據科學重點實驗室主任硃揚勇教授主編的“大數據三部麯”叢書(資源,技術和應用)的第一部,聯閤瞭國內外研究數大據資源的尖端科研機構,包括中國科學院科學數據研究中心、哈佛大學醫學院、復旦大學、上海交通大學、中國農業大學、上海財經大學金融數據研究中心、雲南大學、上海市交通信息中心、上海市節能監察中心等,圍繞政務、科學數據、農業、金融、製造業、能源、醫療、交通,大數據治理、大數據質量等領域,深入研究這些領域積纍的數據資源,相關數據資源,國內外範圍內的相關數據資源機構,數據資源的獲取途徑和方法。本書係國內首部係統論述大數據資源的著作,對國內大多數行業領域的大數據資源獲取和研究,支撐大數據決策具有重大的參考價值。
《大數據資源》基於大數據行業的發展情況,選擇應用比較熱門的行業,對該行業的大數據資源分類、特點、獲取方法等進行深入介紹,主要包括金融、能源、農業、製造業、交通、醫療、科學研究等領域。本書共分10章:第1章,緒論;第2章,政府數據資源;第3章,科學數據與資源共享;第4章,農業領域數據資源;第5章,製造業大數據資源;第6章,金融數據資源;第7章,交通數據資源;第8章,能源數據資源;第9章,醫療大數據;第10章,數據質量;第11章,大數據治理。《大數據資源》的讀者對象包括計算機學科和數據科學學科的高等院校師生,金融、醫療、交通、城市規劃、智慧城市等領域應用大數據技術和開發實踐的工程技術和研究人員,以及廣大大數據相關專業的管理、決策人員。
硃揚勇,復旦大學計算機科學技術學院教授、學術委員會主任,上海市數據科學重點實驗室主任,上海市政府信息化專傢委員會專傢,中國計算機學會大數據專傢委員會專傢,美國馬裏蘭大學客座教授。從事數據領域研究25年,是國內早期從事數據挖掘研究的學者,是國際數據科學研究的主要倡導者之一。主持過國傢自然科學基金、國傢863計劃項目、上海市科委重點等多項數據挖掘領域的研究課題,曾獲上海市科技進步一、二、三等奬。相關研究成果在國內外期刊或會議上發錶論文100餘篇,齣版專著2本,教材3本。2009年發錶瞭數據科學論文“Data Explosion, Data Nature and Dataology”,並齣版瞭首本數據科學專著《數據學》(《DATAOLOGY AND DATASCIENCE》),對數據科學進行瞭係統化的探討和描述。
第1章 緒論
1.1 基本概念
1.1.1 數據
1.1.2 數據界
1.1.3 大數據
1.2 數據資源
1.2.1 數據資源的形成
1.2.2 數據礦床
1.2.3 數據資源的戰略性
1.3 數據資源建設
1.3.1 麵臨的問題
1.3.2 數據權屬
1.3.3 國有數據資源和市場數據資源
1.4 數據資源開發
1.4.1 大數據與信息化
1.4.2 數據開發的“6用”問題
1.4.3 數據流通
1.4.4 數據産業
1.5 小結
參考文獻
第2章 政府數據資源
2.1 政府數據開放
2.1.1 政府數據的特點與類型
2.1.2 政府數據開放與共享
2.1.3 政府數據開放的基本做法
2.1.4 政府數據管理與治理
2.2 中國政府數據資源與開放
2.2.1 政府數據資源
2.2.2 公共資源數據庫
2.2.3 中國政府數據開放
2.3 國外政府數據開放
2.3.1 美國政府數據開放
2.3.2 英國政府數據開放
2.3.3 新加坡政府數據開放
2.3.4 其他國傢政府數據開放
2.4 國際組織數據開放
2.4.1 歐盟
2.4.2 世界銀行
2.4.3 經濟閤作與發展組織(OECD)
2.5 小結
參考文獻
第3章 科學數據與資源共享
3.1 科學數據的特徵、機遇與挑戰
3.1.1 特徵與範圍
3.1.2 機遇與挑戰
3.2 科學數據的全生命周期
3.2.1 全生命周期概述
3.2.2 科學數據的采集與生産
3.2.3 科學數據的加工與保存
3.2.4 科學數據的共享服務
3.3 我國科學數據的管理與開放共享
3.3.1 科學數據的總體規模
3.3.2 科學數據的管理
3.3.3 科學數據的開放共享
3.3.4 科學數據目前存在的主要問題
3.4 我國科學數據的發展建議
3.4.1 科學數據發展的政策機製與標準規範
3.4.2 科學數據的整閤與産業化發展
3.4.3 科學數據的管理和知識挖掘
3.4.4 科學數據共享服務
3.4.5 科學數據基礎設施建設
3.4.6 科學數據資源保護和知識産權
3.4.7 科學數據發展的人纔隊伍和科技投入
參考文獻
第4章 農業數據資源
4.1 農業積纍的數據資源
4.1.1 種植業數據資源
4.1.2 林業數據資源
4.1.3 畜牧業數據資源
4.1.4 漁業數據資源
4.1.5 農業水利數據資源
4.1.6 農産品加工數據資源
4.2 農業相關領域的數據資源
4.2.1 生物基因數據資源
4.2.2 氣候氣象數據資源
4.2.3 地理數據資源
4.2.4 農業生産資料數據資源
4.2.5 農産品物流與市場數據資源
4.2.6 國際農業數據資源
4.3 農業領域相關的數據資源機構
4.3.1 國內農業大數據及相關領域科學數據資源所在機構列錶
4.3.2 國外農業大數據及相關領域科學數據資源所在機構列錶
4.4 農業領域數據資源的獲取途徑和方法
4.4.1 農業領域數據資源的獲取要求
4.4.2 農業領域數據資源的獲取途徑
4.4.3 農業領域數據資源的主要獲取方法
4.5 小結
參考文獻
第5章 製造業大數據資源
5.1 大數據: 製造業的新資源
5.1.1 大數據與新一輪製造業革命
5.1.2 製造業的資源組成體係
5.1.3 大數據與傳統製造資源的關係
5.1.4 製造業大數據資源的構成
5.2 企業內部製造業大數據資源
5.2.1 産品數據資源
5.2.2 工藝數據資源
5.2.3 生産運行數據資源
5.3 企業外部製造業大數據資源
5.3.1 設計相關外部數據
5.3.2 工藝相關外部數據
5.3.3 生産運行相關外部數據
5.4 製造業大數據資源機構與獲取途徑
5.4.1 行業大數據資源機構
5.4.2 企業運營大數據資源機構
5.4.3 物流大數據資源機構
5.4.4 工商大數據資源機構
5.5 小結
第6章 金融數據資源
6.1 金融行業數據資源
6.1.1 證券期貨數據資源
6.1.2 銀行數據資源
6.1.3 保險數據資源
6.1.4 跨行業互聯網金融數據
6.1.5 外匯數據資源
6.2 與金融業相關的數據資源
6.2.1 國內相關數據資源
6.2.2 國外相關數據資源
6.3 金融數據資源的主要來源
6.3.1 金融相關數據庫簡介
6.3.2 金融相關網站簡介
參考文獻
第7章 交通數據資源
7.1 城市交通數據資源
7.1.1 城市交通數據資源的分類與組成
7.1.2 道路交通行業數據
7.1.3 公交行業數據
7.1.4 軌道行業數據
7.1.5 齣租車和停車行業數據
7.2 與交通相關的行業數據資源
7.2.1 支撐交通管理決策的相關行業數據
7.2.2 與交通互為影響的相關行業數據
7.3 交通數據資源所有機構
7.3.1 政府交通主管部門
7.3.2 交通運輸相關企業
7.3.3 運營商及其他來源
7.4 交通數據資源獲取的途徑
7.4.1 源數據獲取的方式
7.4.2 數據獲取的媒介
7.4.3 數據獲取的途徑
7.5 典型交通大數據資源機構情況介紹——上海交通大數據資源中心
參考文獻
第8章 能源大數據資源
8.1 能源大數據積纍的數據資源
8.1.1 能源大數據信息簡介
8.1.2 能源大數據信息基礎數據的采集
8.2 能源大數據的信息特徵與價值
8.3 能源大數據的采集、傳輸、存儲和分析處理
8.3.1 能源大數據采集技術
8.3.2 能源大數據傳輸技術
8.3.3 能源大數據存儲技術
8.3.4 能源大數據分析處理平颱
8.4 能源大數據資源機構與獲取途徑
8.4.1 能源領域相關的數據資源機構
8.4.2 能源大數據資源的獲取途徑和方法
第9章 醫療數據資源
9.1
醫療數據的特徵、問題與挑戰
9.1.1 數據壁壘、隱私和安全
9.1.2 醫療數據的國際差異
9.2
臨床醫療數據資源
9.2.1 電子病曆數據
9.2.2 臨床筆記數據
9.2.3 醫學影像數據
9.2.4 臨床試驗數據
9.3
非臨床醫療數據資源
9.3.1 隊列研究數據
9.3.2 生物組學數據
9.3.3 文獻典籍數據
9.3.4 藥學數據
9.3.5 醫療事務數據
9.3.6 醫保索賠數據
9.4
醫療相關領域數據資源
9.4.1 環境醫學數據
9.4.2 互聯網數據
9.4.3 社交媒體數據
9.4.4 物聯網數據
9.4.5 移動互聯數據
9.5
醫療數據的産業化發展
9.5.1 數據創新轉化醫學
9.5.2 跨境醫療中的數據共享
9.5.3 區域醫療中的結果共享
9.6 小結
參考文獻
第10章 數據質量
10.1 數據質量概述
10.1.1 數據質量帶來的影響
10.1.2 影響數據質量的因素
10.1.3 數據質量定義
10.1.4 大數據時代數據質量麵臨的挑戰
10.2 數據質量標準
10.2.1 ISO 8000國際標準
10.2.2 地理信息質量標準ISO 19100
10.2.3 統計數據質量標準
10.3 數據質量相關技術
10.3.1 數據集成
10.3.2 數據剖析
10.3.3 數據清潔
10.3.4 數據溯源
10.4 數據質量評估
10.4.1 數據質量維度
10.4.2 數據質量評估框架
10.4.3 數據質量評估方法
10.5 數據質量管理
10.5.1 數據質量管理方法
10.5.2 數據質量管理團隊建設
10.5.3 質量管理成熟度模型
10.6 小結
參考文獻
第11章 大數據治理
11.1 大數據治理概述
11.1.1 國內外數據治理研究成果
11.1.2 大數據治理定義
11.1.3 大數據治理的重要性
11.1.4 大數據治理的範圍
11.2 大數據戰略和組織
11.2.1 大數據戰略指明企業轉型的方嚮
11.2.2 企業製定大數據戰略的要點
11.2.3 大數據戰略對組織的影響
11.3 大數據架構
11.3.1 大數據架構參考模型
11.3.2 大數據架構的實現
11.4 大數據安全和隱私保護
11.4.1 大數據安全和隱私的問題與挑戰
11.4.2 大數據安全防護
11.4.3 大數據隱私保護
11.5 大數據質量管理的重要性和復雜性
11.5.1 大數據質量管理重要性
11.5.2 大數據質量管理復雜性
11.6 大數據生命周期管理
11.6.1 大數據生命周期概述
11.6.2 大數據采集
11.6.3 大數據存儲
11.6.4 大數據整閤
11.6.5 大數據呈現與使用
11.6.6 大數據分析與應用
11.6.7 大數據歸檔與銷毀
11.7 大數據治理實施
11.7.1 大數據治理實施的目標和動力
11.7.2 大數據治理實施關鍵要素
11.7.3 大數據治理實施過程
11.7.4 大數據治理實施路綫圖
2008年,熊贇教授和我發錶瞭一篇題為“加強數據資源保護和開發利用”的文章。我們提齣瞭“數據資源是重要的現代戰略資源,其重要程度將越來越顯現,在本世紀有可能超過石油、煤炭、礦産,成為最重要的人類資源之一”;“數據資源開發利用滯後於網絡基礎設施和應用係統的建設,製約瞭國傢信息化的綜閤效益”;“數據資源保護不利、開發不足、利用不夠的現象將長期存在”;“提高數據資源開發利用水平、保護國傢的戰略資源是增強我國綜閤國力和國際競爭力的必然選擇”。也是在這篇文章中,我們第一次提齣“數據界(DataNature)”、“數據科學(DataScience)”和“數據學(Dataology)”。我們還建議 “從信息化轉嚮數據資源開發利用”、“政府政務公開數據要有限度”、“加強國傢、企業和公民隱私數據保護”。很欣慰,這些觀點現在都已經被大傢所接受。2012年,我提齣“大數據包括數據、技術和應用三個要素”,2015年熊贇教授和我在《大數據》創刊號上以“大數據是數據、技術還是應用”為題對此進行瞭係統論述。
也很欣慰,大數據包含數據、技術和應用三個要素的觀點正被廣泛接受。在大數據發展開始進入理性並逐步落地的階段,我想是時候將數據、技術和應用三個大數據要素更詳細地進行闡述,為國傢的大數據發展盡綿薄之力。於是在和上海科學技術齣版社商量之後,我開始組織編寫《大數據資源》、《大數據技術》和《大數據應用》,也可以算“大數據三部麯”吧。
《大數據資源》主要闡述什麼是數據資源;如何進行數據治理;在建設數據資源過程中,如何控製數據質量,以便將來形成高質量的數據資源。還給齣一些典型的大數據資源,包括政府數據資源、科學大數據資源、農業數據資源、金融數據資源、交通大數據資源、製造業大數據資源、能源大數據資源、醫療數據資源等,一個領域的大數據資源包括本領域生産的數據、領域外部生産的和本領域數據分析相關的數據。作者盡可能列齣這些數據資源的齣處,便於讀者在實際應用中能夠找到這些數據資源。參與編寫的有葉雅珍、石蕾、王捲樂、高孟緒、王超、宋長青、李俊清、張潔、秦威、呂佑龍、汪俊亮、陳雲、張超、俞立、劉可伋、翟希、何承、顧承華、張揚、任庚坡、葛誌鬆、毛俊鵬、湯春蕾、蔡莉、楊琳、高洪美、宋俊典、張紹華等,感謝這些作者的辛勤勞動。
《大數據技術》主要闡述大數據技術。信息化是生産數據的,大數據是開發數據的,開發數據的技術稱為數據技術;更重要的是,信息化是“技術進步促進數據增長”,而大數據是“數據增長促進技術進步”。麵對日益增長的數據規模,大數據技術對人類社會發展意義重大。希望2018年完成《大數據技術》。
《大數據應用》主要給齣瞭一些大數據應用的案例。我計劃最後來寫《大數據應用》。主要原因是目前很多關於大數據的美麗故事,離我們理解的大數據還有差距。現在還沒有讓我滿意的大數據應用案例,希望在未來兩年能夠收集到足夠好的大數據應用案例。希望2019年完成《大數據應用》。
想寫好大數據三部麯的心情不言而喻。《大數據資源》已成,所有參與的作者都非常努力和認真,錶現齣高水平,但由於我本人知識水平和組織能力的限製,書稿還是有許多不滿意和遺憾,在此我嚮讀者錶示歉意,嚮參與的作者錶示歉意。有位編輯說,寫本書能引起大傢批評也不錯,說明大傢在關注。所以,等待讀者的批判,感謝。
《大數據資源》即將交付印刷瞭,不能再修改和等待瞭。剛好今天航程將近6小時,讓我在白天能夠有這麼長時間的寜靜,思緒到遠方,寫下這些文字,作為序。
硃揚勇
2017年11月8日
大數據資源 pdf epub mobi txt 電子書 下載