1. 树叶云首页
  2. 技术资讯

基于Kubernetes的Spark部署完全指南

运维••技术资讯

基于Kubernetes的Spark部署完全指南

作者：木木TM 2020-03-06 16:00:04

云计算

Spark 本文是在Kubernets上搭建Spark集群的操作指南，同时提供了Spark测试任务及相关的测试数据，通过阅读本文，你可以实践从制作Spark镜像、搭建Spark容器集群，到在集群上运行测试任务的完整流程。

【编者的话】本文是在Kubernets上搭建Spark集群的操作指南，同时提供了Spark测试任务及相关的测试数据，通过阅读本文，你可以实践从制作Spark镜像、搭建Spark容器集群，到在集群上运行测试任务的完整流程。

Yarn曾经是Hadoop默认的资源编排管理平台。但最近情况有所变化，特别是对于Hadoop中的Spark，由于其与S3等其他存储平台集成得很好，而与Hadoop生态中其他组件反而没有太紧密的关联，因此Kubernetes正迅速替代Yarn，成为基于对象存储的Spark系统的默认编排管理平台。在这篇文章中，我们将深入研究如何在Kubernetes集群上构建和部署Spark容器。由于Spark的运行依赖于数据，我们将配置Spark集群通过S3 API进行存储操作。

[[317697]]

构建Spark容器

在Kubernetes上部署应用的第一步，是创建容器。虽然有些项目会提供官方的容器镜像，但截止到写此文时，Apache Spark并没有提供官方镜像。因此我们将自己创建Spark容器，让我们从Dockerfile开始。

 

  1. FROM java:openjdk-8-jdk 
  2.  
  3. ENV hadoop_ver 2.8.2 
  4. ENV spark_ver 2.4.4 
  5.  
  6. RUN mkdir -p /opt && \ 
  7. cd /opt && \ 
  8. curl http://archive.apache.org/dist/hadoop/common/hadoop-${hadoop_ver}/hadoop-${hadoop_ver}.tar.gz | \ 
  9.     tar -zx && \ 
  10. ln -s hadoop-${hadoop_ver} hadoop && \ 
  11. echo Hadoop ${hadoop_ver} installed in /opt 
  12.  
  13. RUN mkdir -p /opt && \ 
  14. cd /opt && \ 
  15. curl http://archive.apache.org/dist/spark/spark-${spark_ver}/spark-${spark_ver}-bin-without-hadoop.tgz | \ 
  16.     tar -zx && \ 
  17. ln -s spark-${spark_ver}-bin-without-hadoop spark && \ 
  18. echo Spark ${spark_ver} installed in /opt 
  19.  
  20. ENV SPARK_HOME=/opt/spark 
  21. ENV PATH=$PATH:$SPARK_HOME/bin 
  22. ENV HADOOP_HOME=/opt/hadoop 
  23. ENV PATH=$PATH:$HADOOP_HOME/bin 
  24. ENV LD_LIBRARY_PATH=$HADOOP_HOME/lib/native 
  25.  
  26. RUN curl http://central.maven.org/maven2/org/apache/hadoop/hadoop-aws/2.8.2/hadoop-aws-2.8.2.jar -o /opt/spark/jars/hadoop-aws-2.8.2.jar 
  27. RUN curl http://central.maven.org/maven2/org/apache/httpcomponents/httpclient/4.5.3/httpclient-4.5.3.jar -o /opt/spark/jars/httpclient-4.5.3.jar 
  28. RUN curl http://central.maven.org/maven2/joda-time/joda-time/2.9.9/joda-time-2.9.9.jar -o /opt/spark/jars/joda-time-2.9.9.jar 
  29. RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-core/1.11.712/aws-java-sdk-core-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-core-1.11.712.jar 
  30. RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk/1.11.712/aws-java-sdk-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-1.11.712.jar 
  31. RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-kms/1.11.712/aws-java-sdk-kms-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-kms-1.11.712.jar 
  32. RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-s3/1.11.712/aws-java-sdk-s3-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-s3-1.11.712.jar 
  33.  
  34. ADD start-common.sh start-worker start-master / 
  35. ADD core-site.xml /opt/spark/conf/core-site.xml 
  36. ADD spark-defaults.conf /opt/spark/conf/spark-defaults.conf 
  37. ENV PATH $PATH:/opt/spark/bin 

在这个Dockerfile中，我们首先从官方地址下载Apache Spark和Hadoop，然后从Maven获取关联的jar包。当所有关联的文件都已经下载并解压到一个特定的目录后，我们将这些重要的配置文件添加到镜像中。

在这个过程中，你可以很方便的添加自己环境特有的配置。

原本我们可以跳过以上步骤，直接使用一个预先构建好的镜像，但是通过解读这些步骤可以让我们的读者看到Spark容器内部的内容，高级用户可以据此修改来满足他们特殊的需求。

以上示例中使用到的Dockerfile和其他关联的配置文件，可以从这个GitHub仓库中获取。如果要使用这个仓库中的内容，请先使用以下命令将其克隆到本地：

  1. git clone [email protected]:devshlabs/spark-kubernetes.git 

现在，你可以根据需要在你的环境中进行任何更改，然后构建镜像，并上传到你使用的容器注册表中。在本文的示例中，我使用Dockerhub作为容器注册表，命令如下：

 

  1. cd spark-kubernetes/spark-container 
  2. docker build . -t mydockerrepo/spark:2.4.4 
  3. docker push mydockerrepo/spark:2.4.4 

记得将其中的mydockerrepo替换为你实际的注册表名字。

在Kubernetes上部署Spark

至此，Spark容器镜像已经构建好，并可以拉取使用了。让我们使用此镜像来部署Spark Master和Worker。第一步是创建Spark Master。我们将使用Kubernetes ReplicationController创建Spark Master。在本文的示例中，我仅用单实例创建Spark Master。而在有HA需求的生产环境中，你可能需要将副本数设置为3或者以上。

 

  1. kind: ReplicationController 
  2. apiVersion: v1 
  3. metadata: 
  4. name: spark-master-controller 
  5. spec: 
  6. replicas: 1 
  7. selector: 
  8. component: spark-master 
  9. template: 
  10. metadata: 
  11.   labels: 
  12.     component: spark-master 
  13. spec: 
  14.   hostname: spark-master-hostname 
  15.   subdomain: spark-master-headless 
  16.   containers: 
  17.     - name: spark-master 
  18.       image: mydockerrepo/spark:2.4.4 
  19.       imagePullPolicy: Always 
  20.       command: ["/start-master"] 
  21.       ports: 
  22.         - containerPort: 7077 
  23.         - containerPort: 8080 
  24.       resources: 
  25.         requests: 
  26.           cpu: 100m 

为了使Spark Worker节点可以发现Spark Master节点，我们还需要创建headless服务。

当你从GitHub仓库完成克隆，并进入spark-kubernetes目录后，就可以启动Spark Master服务了，命令如下：

 

  1. kubectl create -f spark-master-controller.yaml 
  2. kubectl create -f spark-master-service.yaml 

现在，确保Master节点和所有的服务都正常运行，然后就可以开始部署Worker节点了。Spark Worker的副本数设置为2，你可以根据需要修改。Worker启动命令如下：

  1. kubectl create -f spark-worker-controller.yaml 

最后，通过以下命令确认是否所有服务都正常运行：

  1. kubectl get all 

执行以上命令，你应该可以看到类似下面的内容：

 

  1. NAME                               READY     STATUS    RESTARTS   AGE 
  2. po/spark-master-controller-5rgz2   1/1       Running   0          9m 
  3. po/spark-worker-controller-0pts6   1/1       Running   0          9m 
  4. po/spark-worker-controller-cq6ng   1/1       Running   0          9m 
  5.  
  6. NAME                         DESIRED   CURRENT   READY     AGE 
  7. rc/spark-master-controller   1         1         1         9m 
  8. rc/spark-worker-controller   2         2         2         9m 
  9.  
  10. NAME               CLUSTER-IP      EXTERNAL-IP   PORT(S)             AGE 
  11. svc/spark-master   10.108.94.160   <none>        7077/TCP,8080/TCP   9m 

向Spark集群提交Job

现在让我们提交一个Job，看看是否执行正常。不过在此之前，你需要一个有效的AWS S3账户，以及存有样本数据的桶存在。我使用了Kaggle下载样本数据，样本数据可以从https://www.kaggle.com/datasna … s.csv获取，获取以后需要上传到S3的桶里。假定桶名是s3-data-bucket，那么样本数据文件则位于s3-data-bucket/data.csv。

数据准备好以后，将其加载到一个Spark master pod中执行。以Pod名为spark-master-controller-5rgz2为例，命令如下：

  1. kubectl exec -it spark-master-controller-v2hjb /bin/bash 

如果你登录进入了Spark系统，可以运行Spark Shell：

 

  1. export SPARK_DIST_CLASSPATH=$(hadoop classpath) 
  2. spark-shell 
  3. Setting default log level to "WARN". 
  4. To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 
  5. Spark context Web UI available at http://192.168.132.147:4040 
  6. Spark context available as 'sc' (master = spark://spark-master:7077, app id = app-20170405152342-0000). 
  7. Spark session available as 'spark'. 
  8. Welcome to 
  9.   ____              __ 
  10.  / __/__  ___ _____/ /__ 
  11. _\ \/ _ \/ _ `/ __/  '_/ 
  12. /___/ .__/\_,_/_/ /_/\_\   version 2.4.4 
  13.   /_/ 
  14.  
  15. Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_221) 
  16. Type in expressions to have them evaluated. 
  17. Type :help for more information. 
  18.  
  19. scala> 

现在让我们告诉Spark Master，S3存储的详细信息，在上文所示的Scale提示符中输入以下配置：

 

  1. sc.hadoopConfiguration.set("fs.s3a.endpoint", "https://s3.amazonaws.com") 
  2. sc.hadoopConfiguration.set("fs.s3a.access.key", "s3-access-key") 
  3. sc.hadoopConfiguration.set("fs.s3a.secret.key", "s3-secret-key") 

现在，只需将以下内容粘贴到Scala提示符中，以提交Spark Job(请记得修改S3相关字段)：

 

  1. import org.apache.spark._ 
  2. import org.apache.spark.rdd.RDD 
  3. import org.apache.spark.util.IntParam 
  4. import org.apache.spark.sql.SQLContext 
  5. import org.apache.spark.graphx._ 
  6. import org.apache.spark.graphx.util.GraphGenerators 
  7. import org.apache.spark.mllib.regression.LabeledPoint 
  8. import org.apache.spark.mllib.linalg.Vectors 
  9. import org.apache.spark.mllib.tree.DecisionTree 
  10. import org.apache.spark.mllib.tree.model.DecisionTreeModel 
  11. import org.apache.spark.mllib.util.MLUtils 
  12.  
  13. val conf = new SparkConf().setAppName("YouTube") 
  14. val sqlContext = new SQLContext(sc) 
  15.  
  16. import sqlContext.implicits._ 
  17. import sqlContext._ 
  18.  
  19. val youtubeDF = spark.read.format("csv").option("sep", ",").option("inferSchema", "true").option("header", "true").load("s3a://s3-data-bucket/data.csv") 
  20.  
  21. youtubeDF.registerTempTable("popular") 
  22.  
  23. val fltCountsql = sqlContext.sql("select s.title,s.views from popular s") 
  24. fltCountsql.show() 

最后，你可以使用kubectl patch command命令更新Spark部署。比如，你可以在负载较高时添加更多工作节点，然后在负载下降后删除这些工作节点。

文章来源网络，作者：运维，如若转载，请注明出处：https://shuyeidc.com/wp/230594.html<

赞 (0)
运维的头像运维
00
上一篇2025-04-19 07:34
下一篇 2025-04-19 07:35

相关推荐

  • 个人主题怎么制作？技术资讯

    个人主题怎么制作？

    制作个人主题是一个将个人风格、兴趣或专业领域转化为视觉化或结构化内容的过程，无论是用于个人博客、作品集、社交媒体账号还是品牌形象，核心都是围绕“个人特色”展开，以下从定位、内容规划、视觉设计、技术实现四个维度,详细拆解制作个人主题的完整流程，明确主题定位：找到个人特色的核心主题定位是所有工作的起点，需要先回答……

    运维的头像运维
    2025-11-20
    0
  • 社群营销管理关键是什么？技术资讯

    社群营销管理关键是什么？

    社群营销的核心在于通过建立有温度、有价值、有归属感的社群，实现用户留存、转化和品牌传播，其管理需贯穿“目标定位-内容运营-用户互动-数据驱动-风险控制”全流程,以下从五个维度展开详细说明：明确社群定位与目标社群管理的首要任务是精准定位，需明确社群的核心价值（如行业交流、产品使用指导、兴趣分享等）、目标用户画像……

    运维的头像运维
    2025-11-20
    0
  • 香港公司网站备案需要什么材料？技术资讯

    香港公司网站备案需要什么材料？

    香港公司进行网站备案是一个涉及多部门协调、流程相对严谨的过程，尤其需兼顾中国内地与香港两地的监管要求，由于香港公司注册地与中国内地不同，其网站若主要服务内地用户或使用内地服务器，需根据服务器位置、网站内容性质等，选择对应的备案路径（如工信部ICP备案或公安备案），以下从备案主体资格、流程步骤、材料准备、注意事项……

    运维的头像运维
    2025-11-20
    0
  • 如何企业上云推广技术资讯

    如何企业上云推广

    企业上云已成为数字化转型的核心战略,但推广过程中需结合行业特性、企业痛点与市场需求，构建系统性、多维度的推广体系，以下从市场定位、策略设计、执行落地及效果优化四个维度，详细拆解企业上云推广的实践路径，精准定位：明确目标企业与核心价值企业上云并非“一刀切”的方案，需先锁定目标客户群体，提炼差异化价值主张，客户分层……

    运维的头像运维
    2025-11-20
    0
  • PS设计搜索框的实用技巧有哪些？技术资讯

    PS设计搜索框的实用技巧有哪些？

    在PS中设计一个美观且功能性的搜索框需要结合创意构思、视觉设计和用户体验考量，以下从设计思路、制作步骤、细节优化及交互预览等方面详细说明，帮助打造符合需求的搜索框，设计前的规划明确使用场景：根据网站或APP的整体风格确定搜索框的调性，例如极简风适合细线条和纯色，科技感适合渐变和发光效果，电商类则可能需要突出搜索……

    运维的头像运维
    2025-11-20
    0

发表回复

您的邮箱地址不会被公开。必填项已用 * 标注