windows – 在运行spark-shell之前编辑spark-env.sh的正确方法是
发布时间:2021-03-07 00:05 所属栏目:52 来源:网络整理
导读:我在我的本地 Windows机器上运行spark.我能够成功启动spark shell. 我想编辑驻留在conf /文件夹中的spark-env.sh文件.将值添加到spark-env.sh文件的正确方法是什么. E.g如果我想为SPARK_EXECUTOR_MEMORY变量添加值怎么做? 我对可用的不同答案感到困惑 1. SP
我在我的本地 Windows机器上运行spark.我能够成功启动spark shell. 我想编辑驻留在conf /文件夹中的spark-env.sh文件.将值添加到spark-env.sh文件的正确方法是什么. E.g如果我想为SPARK_EXECUTOR_MEMORY变量添加值怎么做? 解决方法spark-env.sh是一个用于Unix的常规bash脚本,因此在Windows安装中它永远不会被拾取.在Windows上,您需要在conf目录中有一个spark-env.cmd文件,而是使用以下语法: set SPARK_EXECUTOR_MEMORY=2G 在Unix上,该文件将被称为spark-env.sh,您需要使用export预先发送每个属性(例如:export SPARK_EXECUTOR_MEMORY = 2G) (编辑:ASP站长网) |
相关内容
网友评论
推荐文章
热点阅读