搜索
您的当前位置:首页正文

spark 配置文件安装单机版和集群

来源:二三娱乐

/usr/local/Cellar/apache-spark/2.4.1/bin


单机版安装

修改spark的配置文件

  • slave


  • 修改 spark-env.sh


  • master端口号


  • 修改 slaves


Environment variables可以通过每个节点的conf/spark-env.sh脚本设置每台机器的设置。例如IP地址
注意,当Spark安装时,conf/spark-env.sh默认是不存在的。你可以复制conf/spark-env.sh.template创建它。
可以在spark-env.sh中设置如下变量:


Top