您现在的位置是:课程
Spark大数据实时分析项目:7.Spark on YARN
2023-06-29 21:12课程 人已围观
课程描述:
Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。本次课需要了解Spark的运行模式以及如何提交Spark应用程序到YARN上运行。
学习目标:
1.了解Spark的四种运行模式 ;
2.了解YARN产生背景 ;
3.理解YARN架构及运行原理 ;
4.掌握Spark on YARN的使用以及两种不同模式的区别 。
学习建议:
要学会查找第一手资料,也就是通过官方文档进行学习,查阅Spark官网的Submitting Applications章节的文档,自己动手尝试测试client模式和cluster模式的区别(日志、中断客户端等)。
下载资料:有 (联系助教老师)
上一篇:【赵强老师】什么是分区