2019Apache Hadoop管理员培训(6月深圳班)
时间:2019-06-13 08:00 至 2019-06-16 18:00
地点:深圳
- 参会报名
- 会议介绍
- 会议日程
- 会议嘉宾
- 参会指南
-
手机下单
(点击可切换)
2019Apache Hadoop管理员培训(6月深圳班) 已截止报名会议时间: 2019-06-13 08:00至 2019-06-16 18:00结束 主办单位: 上海碧茂信息科技有限公司
|
会议介绍
会议内容 主办方介绍
2019Apache Hadoop管理员培训(6月深圳班)宣传图
课程概述:
综合理解并全面掌握通过Cloudera Manager对Hadoop机群的运维管理,包括:安装,配置、负载平衡及性能调优等。通过该培训,Hadoop系统管理员将能准备好应对实际运维中遇到的挑战。
课时安排:
4天/24课时。
认证编号:
CCA131。通过并获取该证书是向公司及客户证明个人在Hadoop领域的技术和专长的有力依据。
培训内容:
通过讲师在课堂上的讲解,以及实操练习,学员将学习以下内容:
> Cloudera Manager管理机群的特性,譬如日志汇总、配置管理、报告、报警及服务管理。
> YARN、MapReduce、Spark及HDFS的工作原理。
> 如何为你的机群选取合适的硬件和架构。
> 如何将Hadoop机群和企业已有的系统进行无缝集成。
> 如何使用Flume进行实时数据采集以及如何使用Sqoop在RDBMS和Hadoop机群之间进行数据导入导出。
> 如何配置公平调度器为Hadoop上的多用户提供服务级别保障。
> 产品环境中Hadoop机群的最佳运维实践。
> Hadoop机群排错、诊断问题和性能调优。
培训对象及学员基础:
面向系统管理员和IT经理,需具备Linux经验,无需Apache Hadoop基础。
客户评价:
“Cloudera的Hadoop管理员培训让我快速并全面地掌握了我在解决客户所面临的大数据及云平台挑战时所需要的技能和知识,大量节省了时间!”
—— Canonical
查看更多
上海碧茂信息科技有限公司,是中国科学院上海计算技术研究所孵化企业,全球顶级大数据科技公司Cloudera中国区合作伙伴,专业大数据解决方案服务商。 公司成立于2011年,肩负推进中国科学院上海计算技术研究所项目成果产业化的使命,致力于中国企业,尤其是金融、政府、电信等行业的数字化转型战略。总部位于上海,并在北京、广州、长沙等地设有分支机构,形成了覆盖全国的服务体系。2015年成为Cloudera合作伙伴,提供基于Cloudera CDH、Hortonworks HDP、华为FusionInsight、星环 TDH等大数据平台的一体化技术支持,包括集群搭建、架构梳理、数据迁移、计算监测、系统改造、应用开发、数据治理、技术培训。 代表项目:黑龙江移动Hadoop平台第三方维护、中信证券上交所运维、武汉大学大数据实验室建设等。 累计培训大数据企业上百家、工程师逾千人。包括中国人民银行、上海市公安系统、中国移动、思科、浪潮、中兴通讯、东方国信、上海大数据联盟等。
会议日程 (最终日程以会议现场为准)
课程大纲
Apache Hadoop介绍
·Hadoop动机
·基本概念
·Hadoop核心部件
Hadoop机群安装
·机群管理方案
·Cloudera Manager特性
·Cloudera manager安装
·Hadoop(CDH)安装
Hadoop分布式文件系统(HDFS)
·HDFS特性
·读写文件
·NameNode内存考虑
·HDFS安全简介
·HDFS WebUI
·使用HDFS Shell
YARN上的MapReduce和Spark
·计算平台在Hadoop里扮演的角色
·YARN:机群资源管理器
·MapReduce概念
·Apache Spark概念
·Yarn上的计算平台
·YARN WebUI及Shell
·YARN应用运行日志
Hadoop 配置及服务运行日志
·Cloudera Manager 配置管理机制
·定位配置参数及进行配置变更
·管理角色实例及添加服务
·配置HDFS服务
·配置Hadoop服务运行日志
·配置YARN服务
向HDFS导入数据
·使用ume从外部数据源实时导入数据
·使用Sqoop从关系数据库导入数据
·REST接口
·导入数据的最佳实践
Hadoop机群规划
·规划考虑因素
·硬件选择
·虚拟化选项
·网络因素
·节点配置
Hive,Impala及Pig的安装及配置
·Hive
·Impala
·Pig
Hadoop 客户端及Hue
·什么是Hadoop客户端
·安装及配置Hadoop 客户端
·安装及配置 Hue
·使用Hue进行身份验证及授权
机群高级配置
·高级配置参数
·Hadoop端口配置
·HDFS机柜感知配置
·HDFS高可靠性配置
Hadoop安全
·Hadoop安全的重要性
·Hadoop安全性概念
·Kerberos简介
·使用Kerberos 保护Hadoop机群
·其他安全特性
资源管理
·使用静态服务池配置Linux qgroup
·公平调度器
·配置动态资源池
·YARN内存及CPU设置
·Impala查询调度
机群维护
·检查HDFS状态
·机群间复制数据
·添加/移除机群节点
·机群数据负载平衡
·目录快照
·机群升级
机群监控及排错
·Cloudera Manager监控特性
·监控Hadoop机群
·Hadoop机群排错
·常见配置不当问题
总结
查看更多
会议嘉宾
参会指南
会议门票
会务费:7360元/人,包含4天/24课时的课程,住宿交通与餐饮自理。
查看更多
温馨提示
酒店与住宿:
为防止极端情况下活动延期或取消,建议“异地客户”与活动家客服确认参会信息后,再安排出行与住宿。
退款规则:
活动各项资源需提前采购,购票后不支持退款,可以换人参加。
您可能还会关注
-
DAMS2024中国数据智能管理峰会(上海)
2024-11-29 上海
-
2024中国医药医疗CIO年会
2024-12-27 上海
-
2024PM产品力领航者大会
2025-05-16 上海
-
AiCon深圳2025|全球人工智能与大模型应用峰会
2025-08-22 深圳