黑龙江省数字工匠学院

Hadoop大数据平台构建

开课班次:
开课时间: 2025-01-01 — 2025-12-30
加入课程 1人 收藏
分享到

课程介绍

本课程包括六章,分别为初识Hadoop、Hadoop集群的构建、Hadoop分布式文件系统、MapReduce分布式计算框架、Zookeeper分布式协调服务、Hadoop2.0新特性。理论+实践相结合,全方位讲解Hadoop/大量图解知识,讲解通俗易懂、真实大型综合项目,实战性强。

课程大纲

第一章    初识Hadoop
1.1    大数据概念
1.2    大数据应用场景
1.3    Hadoop概述
第二章    Hadoop集群的构建
2.1    创建虚拟机
2.2.1    虚拟机克隆
2.2.2    Linux系统网络配置
2.2.3    网络参数配置
2.2.4    SSH服务配置
2.2.5    Hadoop集群部署模式-jdk安装
2.2.6    Hadoop的安装
2.2.7    hadoop集群配置文件
2.3.1    启动和关闭Hadoop集群
2.3.2    通过UI界面查看Hadoop运行状态
2.4    Hadoop经典案例-单词统计
第三章    Hadoop分布式文件系统
3.1.1    HDFS的演变
3.1.2    HDFS的基本概念
3.2    HDFS的架构和原理
3.3.1    HDFS SHELL介绍
3.3.2    HDFS的Shell操作
3.4    HDFS JAVA API介绍
第四章    MapReduce分布式计算框架
4.1    MapReduce概述
4.2    MapReduce工作原理
4.3    MapReduce组件
4.4    MapReduce运行模式
4.5    MapReduce优化策略
第五章    Zookeeper分布式协调服务
5.1    初识Zookeeper
5.2    数据模型
5.3    Zookeeper的Watch机制
5.4    Zookeeper的选举机制
5.5    Zookeeper典型应用场景
第六章    Hadoop2.0新特性
6.1    Hadoop2.0新特性
6.2    Hive数据仓库
6.3    Flume日志采集系统
6.4    工作流管理器(Azkaban)
6.5    Sqoop数据迁移

考核标准

课程考核分以下几个部分:
[课件浏览] —— 占最终成绩的40%,根据课件实际数量,核定未看课件分数相应扣除;
[客观练习] —— 占最终成绩的10%;
[主观练习] —— 占最终成绩的5%;
[课内讨论] —— 占最终成绩的5%;
[线上期末考试]——占最终成绩的40%;