- 综合排序
- 最热优先
- 最新优先
- 来自专栏快乐阿超
apache-airflow
Apache Airflow® 是一个开源平台，用于开发、安排和监控面向批处理的工作流。Airflow 的可扩展 Python 框架使您能够构建与几乎任何技术连接的工作流。Web 界面有助于管理工作流程的状态。Airflow 可以通过多种方式进行部署，从笔记本电脑上的单个进程到分布式设置，以支持最大的工作流程。
2.2K10编辑于 2024-10-03 - 来自专栏Python七号
如何部署一个健壮的 apache-airflow 调度系统
之前介绍过的 apache-airflow 系列文章 任务调度神器 airflow 之初体验 airflow 的安装部署与填坑 airflow 配置 CeleryExecutor 介绍了如何安装 、配置、及使用，本文介绍如何如何部署一个健壮的 apache-airflow 调度系统 - 集群部署。 本文主要介绍以下几点： airflow 的守护进程 airflow 单节点部署 airflow 多节点（集群）部署 airflow 集群部署的具体步骤 集群部署将为您的 apache-airflow 下面是 apache-airflow 集群、高可用部署的主要守护进程。 worker $ airflow worker 使用负载均衡处理 webserver 可以使用 nginx，AWS 等服务器处理 webserver 的负载均衡，不在此详述 至此，所有均已集群或高可用部署，apache-airflow
8.8K21发布于 2020-12-10 - 来自专栏YP小站
K8S部署分布式调度任务Airflow
/airflow -l NAME CHART VERSION APP VERSION DESCRIPTION apache-airflow/airflow 1.3.0 2.2.1 The official Helm chart to deploy Apache Airflo... apache-airflow/airflow 1.2.0 2.1.4 The official Helm chart to deploy Apache Airflo... apache-airflow/airflow 1.1.0 2.1.2 The official Helm chart to deploy Apache Airflo... apache-airflow/airflow 1.0.0 2.0.2 # 导出 airflow charts values.yaml 文件 $ helm show values apache-airflow/airflow --version 1.2.0 > airflow
3.7K30编辑于 2021-12-06 - 来自专栏Python七号
airflow 的安装部署与填坑
截止目前 2018年8月14日 ，airflow 最新稳定版本为1.8 ，apache-airflow 的最新稳定版本为1.9，其实都是 airflow，使用起来是一样的，只是版本本区别而已，官方指导的安装也是 apache-airflow。 安装airflow 1.9 pip install apache-airflow[all] 这里说明一下，也可以直接 pip install apache-airflow，后面加上 all 的话，所有关于 $ mkdir airflow1.9 $ cd airflow1.9 $ pip download apache-airflow[all] 请等待下载完成。 2. 然后将上述文件打包传输至生产环境解压后，进行 airflow1.9 目录，执行： $cd airflow1.9 $ pip install apache-airflow[all] --no-index
3.1K40发布于 2020-12-10 - 来自专栏Hadoop实操
0612-如何在RedHat7.4上安装airflow
作者：李继武 1 文档编写目的 Airflow是一款纯Python编写的任务流调度工具，airflow由许多模块组成，用户可单独安装部分模块比如pip install 'apache-airflow[celery ]'，pip install 'apache-airflow[hdfs]'等，也可以安装所有的模块pip install 'apache-airflow[all]'，下面我们首先介绍的是如何在一台新安装的纯净的 RedHat7.4上离线安装apache-airflow[all]。 export SLUGIFY_USES_TEXT_UNIDECODE=yes mkdir airflow-pkg cd airflow-pkg/ pip download apache-airflow[ pytest_runner-4.4-py2.py3-none-any.whl pip install Cython-0.29.7-cp27-cp27mu-manylinux1_x86_64.whl pip install apache-airflow
2K30发布于 2019-05-13 - 来自专栏DevOps持续集成
Apache Airflow：安装指南和基本命令
minutes 阅读时间3分钟 Installation of Airflow （安装Airflow） The more preferable approach to installing Apache-Airflow 安装Apache-Airflow的更可取的方法是将其安装在虚拟环境中。Airflow需要最新版本的 PYTHON 和 PIP（用于Python的软件包安装程序）。 have to set the airflow home path : 接下来，我们要设置Airflow主路径： export AIRFLOW_HOME=~/airflow To install apache-airflow : 要安装Airflow： pip install apache-airflow For Airflow to function properly we need to initialize a database
4K10编辑于 2022-12-29 - 来自专栏最新最全的大数据技术体系
【补充】助力工业物联网，工业大数据之AirFlow安装
install --upgrade pip # 查看pip版本 pip -V 2、安装AirFlow 安装 pip install --ignore-installed PyYAML pip install apache-airflow [celery] pip install apache-airflow[redis] pip install apache-airflow[mysql] pip install flower pip install
63620编辑于 2023-09-06 - 来自专栏待你如初见
Centos7安装部署Airflow详解
/airflow`pip install apache-airflow安装airflow 相关依赖pip install 'apache-airflow[mysql]'pip install 'apache-airflow [celery]'pip install 'apache-airflow[redis]'pip install pymysql配置修改配置文件修改${AIRFLOW_HOME}/airflow.cfg#
6.9K30编辑于 2022-09-19 - 来自专栏最新最全的大数据技术体系
助力工业物联网，工业大数据之服务域：AirFlow的架构组件【三十二】
目标：掌握AirFlow的开发规则 路径 step1：开发Python调度程序 step2：提交Python调度程序 实施 官方文档 概念：http://airflow.apache.org/docs/apache-airflow /stable/concepts/index.html 示例：http://airflow.apache.org/docs/apache-airflow/stable/tutorial.html 开发Python 当前工作流属于哪个组 tags=['itcast_bash'], ) 构建一个DAG工作流的实例和配置 step3：定义Tasks Task类型：http://airflow.apache.org/docs/apache-airflow
1.3K30编辑于 2023-08-16 - 来自专栏待你如初见
Centos7安装Airflow2.x redis
的最大长度 postgresql还没有试以后补充 python安装略(自行百度) 请将python加入环境变量（方便） airflow安装 参考https://airflow.apache.org/docs/apache-airflow /airflow` pip install apache-airflow 安装airflow 相关依赖 pip install 'apache-airflow[mysql]' pip install 'apache-airflow[celery]' pip install 'apache-airflow[redis]' pip install pymysql 配置 修改配置文件 修改${AIRFLOW_HOME
2.3K30编辑于 2022-01-12 - 来自专栏大数据-BigData
airflow安装教程（local模式）
raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt" pip install "apache-airflow See https://airflow.apache.org/docs/apache-airflow/2.2.2/howto/set-up-database.html#setting-up-a-sqlite-database
99120编辑于 2022-09-16 - 来自专栏野生AI架构师
【翻译】Airflow最佳实践
原文：https://airflow.apache.org/docs/apache-airflow/stable/best-practices.html 创建DAG有两个步骤： 用Python实现一个 1.1 实现自定义算子（Operator）或者钩子（Hook） 具体看这里：https://airflow.apache.org/docs/apache-airflow/stable/howto/custom-operator.html 关于Connection：https://airflow.apache.org/docs/apache-airflow/stable/concepts/connections.html 1.5 变量Variables
3.9K10发布于 2021-10-28 - 来自专栏DevOps持续集成
OpenTelemetry实现更好的Airflow可观测性
请参阅 https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/logging-monitoring 请参阅https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/logging-monitoring 请参阅https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/logging-monitoring 深入研究 有关 Airflow 中指标的更多信息，请查看https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment
1.8K20编辑于 2023-10-07 - 来自专栏云原生生态圈
Airflow 2.2.3 容器化安装
warning with manually created .env file:" echo " See: https://airflow.apache.org/docs/apache-airflow instructions to increase amount of resources available:" echo " https://airflow.apache.org/docs/apache-airflow //docs.docker.com/engine/install/ubuntu/ [2] 官方docker-compose.yaml: https://airflow.apache.org/docs/apache-airflow
2.6K20编辑于 2022-02-16 - 来自专栏烂笔头
Airflow笔记-MySqlOperator使用及conn配置
依赖 MySqlOperator 的数据库交互通过 MySQLdb 模块来实现, 使用前需要安装相关依赖: pip install apache-airflow[mysql] 2.
1.6K10发布于 2020-04-09 - 来自专栏程序猿的大杂烩
Apache Airflow单机/分布式环境搭建
version(); 8.0.21 ---- Airflow单机环境搭建 完成准备工作后，我们就先来搭建Airflow的单机环境，先上官方文档： https://airflow.apache.org/docs/apache-airflow usr/local/airflow [root@localhost ~]# source /etc/profile Airflow的安装很简单，只需要一条命令就能完成： $ pip3 install "apache-airflow EXEC_DATE # 运行task $ airflow run $dag_id $task_id $execution_date https://airflow.apache.org/docs/apache-airflow 关于scheduler的高可用说明可以参考官方文档： https://airflow.apache.org/docs/apache-airflow/stable/concepts/scheduler.html
5.8K20编辑于 2022-01-12 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（五）：Airflow使用
D:\ProgramData\Anaconda3\envs\python37\Scripts>pip install apache-airflow==2.1.3 -i https://pypi.tuna.tsinghua.edu.cn XXOperator(task_id="task")dag = generate_dag()baseoperator基础参数说明：可以参照：http://airflow.apache.org/docs/apache-airflow 图片DAG参数说明可以参照：http://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/models/dag/index.html BashOperator使用方式参照：http://airflow.apache.org/docs/apache-airflow/stable/howto/operator/bash.html#howto-operator-bashoperator4 更多DAG task依赖关系可参照官网：http://airflow.apache.org/docs/apache-airflow/stable/concepts/dags.html#task-dependencies
13.7K54编辑于 2022-07-17 - 来自专栏Timeline Sec
CVE-2022-24288：Apache Airflow OS命令注入漏洞
Airflow < 2.2.4 0x04 环境搭建 使用docker搭建存在漏洞的系统版本 获取yaml文档 curl -LfO 'https://airflow.apache.org/docs/apache-airflow
1.4K10编辑于 2022-10-05 - 来自专栏漫画大数据
大数据技术周报(2022年11月第一期)
3.0.1.html Airflow Apache Airflow 2.4.2 于2022年10月24日发布 Release Notes：https://airflow.apache.org/docs/apache-airflow
73230编辑于 2023-01-11 - 来自专栏鸿的学习笔记
闲聊Airflow 2.0
这意味着，如果您想使用与AWS相关的operators，而不是与GCP和Kubernetes相关的operators，则只能使用Amazon提供程序子软件包安装Airflow： pip install apache-airflow 42731853/article/details/116226461 https://www.infoq.cn/article/q837wbetfsatfithbbi9 https://medium.com/apache-airflow
3.4K30发布于 2021-08-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号