- 综合排序
- 最热优先
- 最新优先
- 来自专栏Se7en的架构笔记
Spark 系列教程（2）运行模式介绍
helm repo add spark-operator https://googlecloudplatform.github.io/spark-on-k8s-operator helm pull spark-operator kubectl create namespace spark-job helm install my-spark spark-operator \ --namespace spark-operator ❯ kubectl get pod -n spark-operator NAME READY STATUS RESTARTS metadata: annotations: meta.helm.sh/release-name: my-spark meta.helm.sh/release-namespace: spark-operator metadata: annotations: meta.helm.sh/release-name: my-spark meta.helm.sh/release-namespace: spark-operator
2K30发布于 2021-10-09 - 来自专栏容器计算
【Spark Operator】webhook的NamespaceSelector和ObjectSelector
修改 spark-operator webhook 源码，添加了 ObjectSelector，保证只有 Spark 的 Pod 会被发送到 /webhook。
1.2K40发布于 2020-12-31 - 来自专栏容器计算
tcsetpgrp failed重新编译tini
passwd ]] + echo '185:x:185:0:anonymous uid:/opt/spark:/bin/false' + exec /usr/bin/tini -s -- /usr/bin/spark-operator
1.3K20发布于 2020-08-06 - 来自专栏大数据技术博文
CNCF Volcano 核心架构和场景分析
云原生批量计算项目-Volcano CNCF Volcano 总览 统一的作业管理 提供完善作业生命周期管理，统一支持几乎所有主流的计算框架，如pytorch，MPI，Horovod，Tensorflow，spark-operator
2.4K30编辑于 2022-11-22 - 来自专栏Kevinello的技术小站
K8s-RoadMap
Operator Custom Resources(自定义资源) 是 K8s 得以成功的关键因素之一 使 K8s 的 API 可以得到第三方扩展，例如 Spark 利用 Custom Resources 创建了 Spark-Operator
65941编辑于 2022-08-19 - 来自专栏CNCF
云原生架构下复杂工作负载混合调度的思考与实践
Spark作业调度 Spark项目同样有开源的spark-operator来解决其在Kubernetes上的编排问题，之所以Spark可以实现在Kubernetes上的运行，是因为Spark社区从2.3 但无论原生Spark对接Kubernetes的方式还是spark-operator部署Spark作业的方式，都和TensorFlow有相似的资源等待造成资源死锁或者浪费的问题。
1.4K30发布于 2020-11-09 - 来自专栏容器计算
Spark-Submit 和 K8S Operation For Spark
storage.googleapis.com/kubernetes-charts-incubator helm install incubator/sparkoperator --namespace spark-operator
2.3K21发布于 2020-08-06 - 来自专栏CNCF
迁移到Spark Operator和S3的4个集成步骤
使用 gcr.io/spark-operator/spark-py:v3.0.0-hadoop3 镜像作为起点，我们添加了以下 jar：hadoop-aws-3.1.0.jar 和 aws-java-sdk-bundle
2.6K10发布于 2021-01-27 - 来自专栏csico
Fluid + GooseFS 助力云原生数据编排与加速快速落地
而目前很多 AI 和大数据的业务也在积极的向 Kubernetes 靠拢，例如开源机器学习平台 Kubeflow；大数据计算框架 Spark 也推出 Spark-operator 以满足基于 Kubernetes
70710发布于 2021-09-07 - 来自专栏腾讯云原生团队
Fluid + GooseFS 助力云原生数据编排与加速快速落地
而目前很多 AI 和大数据的业务也在积极的向 Kubernetes 靠拢，例如开源机器学习平台 Kubeflow；大数据计算框架 Spark 也推出 Spark-operator 以满足基于 Kubernetes
68531发布于 2021-08-17 - 来自专栏CNCF
Fluid + GooseFS 助力云原生数据编排与加速快速落地
而目前很多 AI 和大数据的业务也在积极的向 Kubernetes 靠拢，例如开源机器学习平台 Kubeflow；大数据计算框架 Spark 也推出 Spark-operator 以满足基于 Kubernetes
96450发布于 2021-08-26 - 来自专栏深度学习与python
OPPO 全球混合云建设之路丨QCon 演讲实录
第四，大数据，我们做了 spark-operator、YARN-operator、flink-operator、trino-operator，将 YARN 跑在 K8S 上，再通过 YARN 来调度整个大数据
1.1K20编辑于 2023-03-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号