您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息

某国际公司Spark平台运维实践培训成功开展

2019/9/23 14:08:16发布74次查看
 2017年2月20日,艾威培训资深的spark讲师走进某国际公司,展开为期4天的企业级spark定制培训;在此培训我们的课程顾问与客户做了大量了沟通,并最终根据客户的需求定制了相关内容。本次培训的主要知识如下:
一、 spark应用基础
106. spark的实时处理基础知识
107. spark生态系统概述以及发展历程
108. spark在处理实时数据场景下的优势和处理模式
109. spark内存计算编程框架
110. spark core的基础原理
111. spark sql的基础原理
112. spark streaming的基础原理
113. spark mlib的基础原理
114. spark graphx的基础原理
115. sparkr的基础原理
116. spark在业界的实际应用场景与相关案例简介
 
二、 spark与hadoop大数据平台的融合解决方案117. spark与hadoop的融合集成之道
118. spark与hadoop处理模式的异同点和各自的优势
119. spark和hadoop在大数据项目中的应用定位和解决方案spark分析处理平台架构和组件
120. spark平台架构,以及利用spark解决数据分析挖掘任务的优势之处
121. spark数据数据分析挖掘平台的产品解决方案
122. spark mlib机器学习平台架构
123. spark graphx图数据分析平台架构
124. spark steaming流数据处理平台架构 
三、 spark应用实践操作训练
125. 部署与配置spark集群,以及spark性能调优
126. spark ha集群部署配置
127. spark-submit应用程序部署工具应用
128. 构建spark开发环境
129. spark程序运行以及操作 
四、 spark大数据实时与高性能处理平台剖析
130. spark实时大数据处理平台架构
131. spark编程模型以及spark编程实例解析
132. spark rdd内存弹性分布式数据集的工作原理与机制
133. spark core的核心组件剖析
134. spark的运行架构和运行过程剖析
135. spark on yarn运行原理和实例解析
136. spark分组取top n,dataframe与rdd的两种转换方式,spark sql的内置函数、开窗函数、udf、udaf,spark streaming的kafka direct api、updatestatebykey、
137. spark rdd transform、滑动窗口、foreachrdd性能优化、持久化、checkpoint、容错与事务、与spark sql整合使用
138. 基于spark的实时数据仓库与实时分析挖掘处理的应用实践,以及应用案例 
五、 基于spark的实时数据仓库和实时数据分析挖掘处理平台的实现机制, spark sql,spark streaming,mlib,graphx,sparkr的应用实践
139. 内存计算模型和实时处理技术介绍
140. spark中各个分布式组件的处理框架及工作原理
141. spark sql实时数据仓库的实现原理机制及应用实践
142. spark streaming流式数据实时处理机制及应用实践
143. spark mlib实时机器学习算法应用实践与案例应用
144. spark graphx实时图数据处理应用实践与社交网络分析应用
145. sparkr的实现原理与应用实践
146. spark组件的应用编程开发实战
147. spark与hadoop 的集成应用实践,包括spark与hdfs的集成,以及spark与yarn的集群集成 
六、 spark核心组件功能运用的实践操作训练
148. spark sql应用操作实训
149. spark streaming应用操作实训
150. spark mlib应用操作实训
151. spark graphx应用操作实训
152. sparkr应用操作实训
153. spark与hbase集成数据分析实验实训 
七、 基于hadoop与spark平台的数据挖掘与机器学习平台实践(可选)
154. 基于hadoop与spark构建实时推荐系统的项目步骤
155. 分类分析模型训练:决策树、贝叶斯算法应用于数值数据集和文本数据集分类,进行客户分类与深度标签应用
156. 关联分析模型训练:fp-growth,apriori算法应用于电商订单数据集和影视日志数据集
157. 推荐模型训练:利用usercf和itemcf推荐算法应用评分数据集分析用户偏好以及感兴趣的产品推荐 
八、 大数据应用项目的运维管理应用案例158. 基于hadoop & spark的日志分析系统应用案例
159. 基于hadoop & spark的数据挖掘系统应用案例
160. 基于hadoop & spark的客户分析系统应用案例
161. 基于hadoop & spark的电商数据分析系统案例
162. 基于hadoop & spark的电信用户行为分析应用案例
163. 基于hadoop & spark的实时数据流分析应用案例
164. 基于hadoop & spark的电信基站数据分析应用案例九、 大数据分布式采集系统架构和分布式消息订阅系统架构及其应用实践(可选)165. flume-ng数据采集系统的数据流模型、平台架构、集群部署与配置应用实战
166. kafka分布式消息订阅系统的应用介绍、平台架构、集群部署与配置应用实战 
十、 hue与ambari自动化运维管理工具应用实践167. hue运维监控系统的部署与配置,以及它在监控hadoop与spark平台系统组件(如hdfs,yarn,hive,hbase,spark sql, spark streaming,graphx等组件)中的应用
168. apache ambari大数据监控与运维管理系统的部署与配置,以及应用实践 
十一、 大数据平台的服务器与操作系统级别的运维管理工具实践169. ganglia自动化监控与运维管理系统的部署、配置,以及操作训练,监控hadoop与spark作业与任务执行的cpu,内存,硬盘,网络流量,忙/闲等运维操作
170. nagios大数据平台的服务器监控管理,包括大数据平台的集群服务器节点的运行状态,大数据应用服务程序的监控等运维操作 
十二、 大数据平台运维项目应用完整实践与咨询讨论171. 根据讲师布置的实际应用案例,开展大数据运维项目的部署设计和方案实践、大数据运维项目的需求分析、应用实施以及解决方案分享咨询与交流讨论
本课程作为艾威培训2017年主打课程,已成功开展不下20期内训。
艾威国际培训(avtech institute of technology),源于美国,始于1998.专业从事企业级在职人员技能提升(项目管理、it管理、it技术、云计算大数据、需求管理、信息安全与审计,产品管理等培训)与各类国际认证考试提供商;进入中国16年来,已成为众多500强企业指定的培训供应商。2017年艾威培训引入了更多国际最先进的课程。欢迎关注艾威公众号avtech888




该用户其它信息

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录 Product