发表于2024-12-22
Python+Spark 2.0+Hadoop机器学习与大数据实战 pdf epub mobi txt 电子书 下载
1.Hadoop集群安装与分散式运算和存储介绍
通过实机操作,学会如何安装Virtual Box、Ubuntu Linux、Hadoop单机与多台机器集群安装,并学会使用HDFS分散式存储与MapReduce分散式运算。
2.Python Spark 2.0安装
通过实机操作,学会安装Spark 2.0,并在本机与多台机器集群执行Python Spark应用程序。同时介绍如何在iPython Notebook互动界面执行Python Spark指令。安装eclipse整合开发界面,开发Python Spark应用程序,大幅提升程序开发生产力。
3.Python Spark SQL、DataFrame数据统计与数据可视化
Spark SQL 即使非程序设计人员,只需要懂得SQL语法,就可以使用。DataFrame API 可使用类SQL的方法,如select()、groupby()、count(),很容易进行统计,大幅降低大数据分析的学习门槛。Spark DataFrame可转换为Pandas DataFrame,运用Python丰富的数据可视化组件(例如matplotlib)进行数据可视化。
4.Python Spark MLlib机器学习
以大数据分析实际案例MoiveLens、StumbleUpon、CovType、BikeSharing介绍如何使用Python Spark运用机器学习演算法进行数据处理、训练、建立模型、训练验证找出*佳模型、预测结果。
5.Python Spark ML Pipeline机器学习流程
以大数据实际案例示范使用Python Spark ML Pipeline机器学习流程进行二元分类、多元分类、回归分析,将机器学习的每一个步骤建立成Pipeline流程:数据处理 →运算法训练数据→建立模型→找出*佳模型→预测结果。Spark ML Pipeline 通过内建数据处理模块与机器学习运算法,减轻数据分析师在程序设计上的负担。
《Python+Spark 2.0+Hadoop机器学习与大数据实战》从浅显易懂的“大数据和机器学习”原理说明入手,讲述大数据和机器学习的基本概念,如分类、分析、训练、建模、预测、机器学习(推荐引擎)、机器学习(二元分类)、机器学习(多元分类)、机器学习(回归分析)和数据可视化应用等。书中不仅加入了新近的大数据技术,还丰富了“机器学习”内容。
为降低读者学习大数据技术的门槛,书中提供了丰富的上机实践操作和范例程序详解,展示了如何在单机Windows系统上通过Virtual Box虚拟机安装多机Linux虚拟机,如何建立Hadoop集群,再建立Spark开发环境。《Python+Spark 2.0+Hadoop机器学习与大数据实战》中介绍搭建的上机实践平台并不限制于单台实体计算机。对于有条件的公司和学校,参照书中介绍的搭建过程,同样可以实现将自己的平台搭建在多台实体计算机上,以便更加接近于大数据和机器学习真实的运行环境。
《Python+Spark 2.0+Hadoop机器学习与大数据实战》非常适合于学习大数据基础知识的初学者阅读,更适合正在学习大数据理论和技术的人员作为上机实践用的教材。
林大贵,从事IT行业多年,在系统设计、网站开发、数字营销、商业智慧、大数据、机器学习等领域具有丰富的实战经验。
目 录
第1章 Python Spark机器学习与Hadoop大数据 1
1.1 机器学习的介绍 2
1.2 Spark的介绍 5
1.3 Spark数据处理 RDD、DataFrame、Spark SQL 7
1.4 使用Python开发 Spark机器学习与大数据应用 8
1.5 Python Spark 机器学习 9
1.6 Spark ML Pipeline机器学习流程介绍 10
1.7 Spark 2.0的介绍 12
1.8 大数据定义 13
1.9 Hadoop 简介 14
1.10 Hadoop HDFS分布式文件系统 14
1.11 Hadoop MapReduce的介绍 17
1.12 结论 18
第2章 VirtualBox虚拟机软件的安装 19
2.1 VirtualBox的下载和安装 20
2.2 设置VirtualBox存储文件夹 23
2.3 在VirtualBox创建虚拟机 25
2.4 结论 29
第3章 Ubuntu Linux 操作系统的安装 30
3.1 Ubuntu Linux 操作系统的安装 31
3.2 在Virtual设置Ubuntu虚拟光盘文件 33
3.3 开始安装Ubuntu 35
3.4 启动Ubuntu 40
3.5 安装增强功能 41
3.6 设置默认输入法 45
3.7 设置“终端”程序 48
3.8 设置“终端”程序为白底黑字 49
3.9 设置共享剪贴板 50
3.10 设置最佳下载服务器 52
3.11 结论 56
第4章 Hadoop Single Node Cluster的安装 57
4.1 安装JDK 58
4.2 设置SSH无密码登录 61
4.3 下载安装Hadoop 64
4.4 设置Hadoop环境变量 67
4.5 修改Hadoop配置设置文件 69
4.6 创建并格式化HDFS目录 73
4.7 启动Hadoop 74
4.8 打开Hadoop Resource-Manager Web界面 76
4.9 NameNode HDFS Web界面 78
4.10 结论 79
第5章 Hadoop Multi Node Cluster的安装 80
5.1 把Single Node Cluster复制到data1 83
5.2 设置VirtualBox网卡 84
5.3 设置data1服务器 87
5.4 复制data1服务器到data2、data3、master 94
5.5 设置data2服务器 97
5.6 设置data3服务器 100
5.7 设置master服务器 102
5.8 master连接到data1、data2、data3 创建HDFS目录 107
5.9 创建并格式化NameNode HDFS目录 110
5.10 启动Hadoop Multi Node Cluster 112
5.11 打开Hadoop ResourceManager Web界面 114
5.12 打开NameNode Web界面 115
5.13 停止Hadoop Multi Node Cluster 116
5.14 结论 116
第 6 章 Hadoop HDFS命令 117
6.1 启动Hadoop Multi-Node Cluster 118
6.2 创建与查看HDFS目录 120
6.3 从本地计算机复制文件到HDFS 122
6.4 将HDFS上的文件复制到本地计算机 127
6.5 复制与删除HDFS文件 129
6.6 在Hadoop HDFS Web用户界面浏览HDFS 131
6.7 结论 134
第7章 Hadoop MapReduce 135
7.1 简单介绍WordCount.java 136
7.2 编辑WordCount.java 137
7.3 编译WordCount.java 141
7.4 创建测试文本文件 143
7.5 运行WordCount.java 145
7.6 查看运行结果 146
7.7 结论 147
第8章 Python Spark的介绍与安装 148
8.1 Scala的介绍与安装 150
8.2 安装Spark 153
8.3 启动pyspark交互式界面 156
8.4 设置pyspark显示信息 157
8.5 创建测试用的文本文件 159
8.6 本地运行pyspark程序 161
8.7 在Hadoop YARN运行pyspark 163
8.8 构建Spark Standalone Cluster运行环境 165
8.9 在Spark Standalone运行pyspark 171
8.10 Spark Web UI界面 173
8.11 结论 175
啦啦啦啦啦啦啦啦啦啦
评分学习Tensorflow必备图书,一起加油吧!
评分今天买,明天到,非常方便,再也不用去书店扛货了,谢谢京东骑士。
评分使用方便,京东购物速度快,一直相信京东!
评分完美,以后的两个月就看这本书过日子了,祝福我能全部学会吧,成为一代大神。
评分当下流行的技术,好好学习跟上潮流不落后
评分好书!!!赞!!!赞!!!赞!!!赞!!!赞!!!赞!!!
评分这本书呢非常适合新手,而且那条理清晰,又有安利,啊,我发现它的源代码是那个网页版的胎神,那个源代码,我感觉呢这样的话就非常容易入门,然后呢这款这本书了好像也和我的比赛差不多,所以我感觉非常推荐
评分经常网购,总有大量的包裹收,有很多的评语要写! 但是,总是写评语花掉了我大量的时间和精力! 回头想想,我花了钱了,还要我花这么多的时间和精力来写评语是不是很不划算? 所以在一段时间里,我总是不去评价或者随便写写! 但是,我又总是觉得好像有点对不住那些辛苦工作的卖家客服、仓管、老板。 于是我写下了一小段话,给我觉得能拿到我五星好评的卖家的宝贝评价里面以示感谢和尊敬! 首先,宝贝是性价比很高的,我每次都会先试用再评价的,虽然宝贝不一定是最好的,但在同等的价位里面绝对是表现最棒的。 其次,在与卖家的沟通中,无论是前期咨询还是后期询问;卖家都能好好解答。 另外,物流的速度也是可以接受的,偶尔有比较慢的物流,也希望大家可以耐心等待,毕竟卖家也不能控制物流的速度啊。 相反,卖家比我们更希望能早日到货,我们能早点付款啊! 希望卖家能再接再厉。把店铺做得更大更强,提供更多更好的东西给大家。
Python+Spark 2.0+Hadoop机器学习与大数据实战 pdf epub mobi txt 电子书 下载