您现在的位置是:课程

Spark大数据实时分析项目:7.Spark on YARN

2023-06-29 21:12课程 人已围观

课程描述:

Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。本次课需要了解Spark的运行模式以及如何提交Spark应用程序到YARN上运行。

学习目标:

1.了解Spark的四种运行模式 ;

2.了解YARN产生背景 ;

3.理解YARN架构及运行原理 ;

4.掌握Spark on YARN的使用以及两种不同模式的区别 。

学习建议:

要学会查找第一手资料,也就是通过官方文档进行学习,查阅Spark官网的Submitting Applications章节的文档,自己动手尝试测试client模式和cluster模式的区别(日志、中断客户端等)。

下载资料:有 (联系助教老师)

-->

站点信息

  • 文章统计篇文章