参会报名
课程介绍
课程大纲
讲师介绍
课程费用
手机下单

首页 > 商务会议 > IT互联网会议 > 董西成培训公开课：Hadoop与Spark大数据架构专题（2017年4月北京站）更新时间：2017-06-24T16:52:20

收藏5人

分享到

董西成培训公开课：Hadoop与Spark大数据架构专题（2017年4月北京站）已截止报名
推荐参加：QCon北京2025|全球软件开发大会

会议时间： 2017-04-22 08:00至 2017-04-23 18:00结束

会议地点：北京详细地址会前通知周边酒店预订

主办单位：麦思博软件技术有限公司

行业热销热门关注看了又看换一换

课程介绍
课程内容主办方介绍

董西成培训公开课：Hadoop与Spark大数据架构专题（2017年4月北京站）宣传图

培训特色

当下是大数据时代，为构建大数据平台，需要对分布式数据收集，大数据存储，分布式计算，资源管理等系统有全面而又深入的理解。众所周知，大数据源自于互联网行业，目前互联网公司已有一套完善的大数据平台建设方案，大部分选用开源的Hadoop和Spark两大生态系统，本课程正是以这两套系统为主介绍大数据平台及架构的构建策略及经验。

目标收益

本课程将为大家全面而又深入的介绍大数据平台的构建流程，涉及分布式数据收集，大数据存储，资源管理及分布式计算框架等。本课程重点以Hadoop和Spark两大生态系统作为基准进行介绍，涉及Flume， HDFS, Hbase，YARN，MapReduce，Hive， Zookeeper， Spark，Storm，Spark Streaming等主流的大数据开源系统架构及应用经验。

培训对象：各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。

学员基础：了解Java语言、Linux系统；

课程时长：2天

麦思博软件技术有限公司

麦思博(msup)有限公司发源美国西雅图，2007年创办，是一家面向技术型组织的培训咨询机构，服务于技术团队的技能提升、软件工程的实际应用和产品品质的创新与超越。强调人员、技术、流程和管理的有机结合，注重角色岗位的技能提升与职业发展，以及技术团队复合管理与协作。每年超过1000家企业续单参与msup旗下公开课、工作坊、案例研究、国际游学等培训项目。

课程大纲

主题	内容
大数据架构概述	1.1 大数据层级架构及各层软件设计要求，包括数据收集、存储、计算框、应用 1.2 Hadoop生态系统概述以及版本演化，并给出版本选择建议。 1.3 Spark生态系统概述及其特点，并与Hadoop对比
数据收集系统Flume与Sqoop	2. 使用flume和sqoop两个系统将外部流式数据（比如网站日志，用户行为数据等）、关系型数据库（比如MySQL、Oracle等）中的数据导入Hadoop中进行分析和挖掘
大数据存储系统HDFS与HBase	3.1与HDFS 1.0进行对比介绍2.0原理、特性与基本架构（快照、缓存、异构存储）。 3.2 HBase原理，基本架构与案例分析 3.3 HBase应用场景、原理和架构，典型应用案例（互联网、银行）
集群资源管理与调度系统	4. 介绍 YARN应用场景、基本架构与资源调度
Zookeeper部署及典型应用	5. 介绍Zookeeper是什么，基本原理及在应用
大数据计算平台	介绍主流的三大类大数据计算框架，分别是批处理、交互式计算和流式计算框架，并选取当下主流的开源实现进行介绍。 6.1 批处理计算框架（1）MapReduce 2.0基本原理与架构、程序编写（使用java、C++、php语言）。（2）数据分析系统Hive与Pig应用与比较，如何使用其中的海量数据（3）Spark计算框架，背景及应用案例 6.2 交互式计算框架，Impala和presto应用场景，基本架构和典型应用案例 6.3 流式/实时计算框架，storm、Spark Streaming基本架构特点，及应用案例
数据挖掘与机器学习库	7. Mahout与MLlib两个主流的分布式数据挖掘与机器学习库的实现以及应用案例。

讲师介绍

X. Dong 董西成

HULU

架构师

资深Hadoop技术实践者和研究者，拥有超过5年的Hadoop平台研发经验，曾参与商用Hadoop原型研发，以及分布式日志系统、全网图片搜索引擎、Hadoop调度器等项目的设计与研发；Spark On Yarn优化与性能增强；曾在中国云计算大会（CieCloud），世界软件大会（WOT）等担任主持人和培训讲师；目前就职于美国某著名视频公司，从事Hadoop及Spark平台相关的研发工作。