视频课程 人浏览 历史评分   更新时间: 30天前 随到随学

课程介绍

注意0:欲购买此课程,获取安全购买链接,索要正版授权学习平台账号,务必加咨询QQ:2536379620
注意1:由于编码原因,试听课程视频画面清晰度不如最终购买的视频。最终购买视频的画面清晰度可参见以下两张图。图1   图2
注意2:正版良心视频,购买后有机会和原作者直接短暂技术交流。
    
注意3:感觉课程太难?没有信心?还在犹豫自己学的会学不会?我们的师傅带徒弟模式会给您信心。我们承诺, 商品详情,教学大纲,视频内容,所涉及技术,可获得原创作者老师微信或QQ和针对视频范围的精心指导。线上一对一师带徒辅导问答,针对视频内代码调试,使命必达,视频之外相关技术内容,行业内信息人脉,企业内推(如有),原创作者老师会竭诚帮助。

线上一对一师带徒辅导问答,针对视频内代码调试,使命必达。(本产品主要是卖问答服务,视频价格太低不单独卖,嫌价格高者勿拍)


本系列课程将基于RedHat Linux 7.4版本、Hadoop 2.7.3、Spark 2 版本多面介绍大数据的整体内容,让学员深入理解并学习运行机制和原理,从而进一步学习大数据的相关内容。
课程说明:
Hadoop2相比较于Hadoop1.x来说,HDFS的架构与MapReduce的都有较大的变化,且速度上和可用性上都有了很大的提高,Hadoop2中有两个重要的变更:
(1)HDFS的NameNodes可以以集群的方式布署,增强了NameNodes的水平扩展能力和可用性;
(2)MapReduce将JobTracker中的资源管理及任务生命周期管理(包括定时触发及监控),拆分成两个独立的组件,并更名为YARN(Yet Another Resource Negotiator)。
具体如下:
(1)HDFS的变化 - 增强了NameNode的水平扩展及可用性
在2.X中,HDFS的变化,主要体现在增强了NameNode的水平扩展及可用性,可以同时部署多个NameNode,这些NameNodes之间是相互独立,也就是说他们不需要相互协调,DataNode同时在所有NameNodes注册,做为他们共有的存储节点,并向定时向所有的这些NameNodes发送心跳块使用情况的报告,并处理所有NameNodes向其发送的指令。
(2)MapReduce拆分JobTracker为资源管理及任务生命周期管理两个独立的组件
MapReduce在Hadoop2中称为MR2或YARN,将JobTracker中的资源管理及任务生命周期管理(包括定时触发及监控),拆分成两个独立的服务,用于管理全部资源的ResourceManager以及管理每个应用的ApplicationMaster,ResourceManager用于管理向应用程序分配计算资源,每个ApplicationMaster用于管理应用程序、调度以及协调。一个应用程序可以是经典的MapReduce架构中的一个单独的任务,也可以是这些任务的一个DAG(有向无环图)任务。ResourceManager及每台机上的NodeManager服务,用于管理那台机的用户进程,形成计算架构。每个应用程序的ApplicationMaster实际上是一个框架具体库,并负责从ResourceManager中协调资源及与NodeManager(s)协作执行并监控任务。

课程目标

本系列课程将基于RedHat Linux 7.4版本、Hadoop 2.7.3、Spark 2 版本多面介绍大数据的整体内容,让学员深入理解并学习运行机制和原理,从而进一步学习大数据的相关内容。

适用人群

具备Java基础学员,并想进一步学习大数据的学员。

课程大纲

01
课程概述

【录播】Hadoop体系结构概述(11分钟)      免费试学
02
HDFS的体系结构

【录播】NameNode(24分钟)

【录播】DataNode(13分钟)

【录播】SecondaryNameNode(15分钟)
03
Yarn的体系结构

【录播】Yarn的体系结构和任务的调度(17分钟)

【录播】Yarn的资源分配方式(9分钟)
04
HBase体系结构概述

【录播】HBase的体系结构简介(7分钟)
05
主从结构的单点故障

【录播】主从结构的单点故障问题及解决方案(8分钟)
06
课程资料

【资料】课程资料(zip,1.3MB)
相关推荐
客服 关于