首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >气流需要mysql吗?

问气流需要mysql吗?
EN

Stack Overflow用户
提问于 2018-10-25 17:29:16
回答 3查看 3.7K关注 0票数 0

我正在尝试将我们的气流升级到1.10.0。当我这样做时,我会收到一个错误,抱怨它无法连接到mysql:

代码语言:javascript
复制
worker_1     | sqlalchemy.exc.OperationalError: (_mysql_exceptions.OperationalError) (2002, 'Can\'t connect to local MySQL server through socket \'/var/run/mysqld/mysqld.sock\' (2 "No such file or directory")') (Background on this error at: http://sqlalche.me/e/e3q8)

当我试图将mysql从我们的系统中完全删除时,我得到了以下内容:

代码语言:javascript
复制
scheduler_1  | [2018-10-25 17:22:19,399] {{celery_executor.py:113}} ERROR - No module named 'MySQLdb'

Mysql没有出现在我们设置的任何环境变量中,也没有出现在airflow.cfg中。似乎这个版本的气流出于其他原因需要mysql。这是真的吗?

更新--这类似于引发的这里问题,但我更感兴趣的是,为什么气流要调用mysql。

我还应该指出,我们确实显式地将sqlalchemy连接设置为postgres数据库。

代码语言:javascript
复制
AIRFLOW__CORE__SQL_ALCHEMY_CONN=postgres://airflow:airflow@postgres/airflow

当气流试图写入任务运行的结果(标记为失败)时,会发生错误。

更新

这是我使用的码头文件,它定义了气流图像。请注意,没有提到mysql:

代码语言:javascript
复制
# SOURCE: https://github.com/puckel/docker-airflow

FROM python:3.6-jessie

# Never prompts the user for choices on installation/configuration of packages
ENV DEBIAN_FRONTEND noninteractive
ENV TERM linux

# Airflow
ARG AIRFLOW_VERSION=1.10.0
ARG AIRFLOW_HOME=/usr/local/airflow

# Define en_US.
ENV LANGUAGE en_US.UTF-8
ENV LANG en_US.UTF-8
ENV LC_ALL en_US.UTF-8
ENV LC_CTYPE en_US.UTF-8
ENV LC_MESSAGES en_US.UTF-8
ENV PYTHONPATH ${AIRFLOW_HOME}
ENV AIRFLOW_GPL_UNIDECODE yes

COPY ./requirements.txt .

RUN set -ex \
    && buildDeps=' \
        python3-dev \
        libkrb5-dev \
        libsasl2-dev \
        libssl-dev \
        libffi-dev \
        build-essential \
        libblas-dev \
        liblapack-dev \
        libpq-dev \
        git \
    ' \
    && apt-get update -yqq \
    && apt-get upgrade -yqq \
    && apt-get install -yqq --no-install-recommends \
        $buildDeps \
        python3-pip \
        python3-requests \
        apt-utils \
        curl \
        rsync \
        netcat \
        locales \
        vim \
    && sed -i 's/^# en_US.UTF-8 UTF-8$/en_US.UTF-8 UTF-8/g' /etc/locale.gen \
    && locale-gen \
    && update-locale LANG=en_US.UTF-8 LC_ALL=en_US.UTF-8 \
    && useradd -ms /bin/bash -d ${AIRFLOW_HOME} airflow \
    && pip install -U pip setuptools wheel \
    && pip install Cython \
    && pip install pytz \
    && pip install pyOpenSSL \
    && pip install ndg-httpsclient \
    && pip install pyasn1 \
    && pip install apache-airflow[crypto,celery,postgres,hive,jdbc]==$AIRFLOW_VERSION \
    && pip install 'celery[redis]>=4.1.1,<4.2.0' \
    && pip install -r requirements.txt \
    && apt-get purge --auto-remove -yqq $buildDeps \
    && apt-get autoremove -yqq --purge \
    && apt-get clean \
    && rm -rf \
        /var/lib/apt/lists/* \
        /tmp/* \
        /var/tmp/* \
        /usr/share/man \
        /usr/share/doc \
        /usr/share/doc-base

COPY script/entrypoint.sh /entrypoint.sh
COPY celery_healthcheck.sh ${AIRFLOW_HOME}
COPY config/airflow.cfg ${AIRFLOW_HOME}/airflow.cfg
COPY dags ${AIRFLOW_HOME}/dags
COPY operators ${AIRFLOW_HOME}/operators
COPY models ${AIRFLOW_HOME}/models
COPY constants.py ${AIRFLOW_HOME}/constants.py
COPY envconsul ${AIRFLOW_HOME}/envconsul
COPY *.hcl ${AIRFLOW_HOME}/

RUN chown -R airflow: ${AIRFLOW_HOME}

EXPOSE 8080 5555 8793

USER airflow
WORKDIR ${AIRFLOW_HOME}
EN

回答 3

Stack Overflow用户

回答已采纳

发布于 2018-10-26 19:49:25

弄明白了。原来,另一个env (AIRFLOW__CELERY__RESULT_BACKEND)是用一个错误设置的。我把它设置为AIRFLOW__CELERY__CELERY_RESULT_BACKEND。我不清楚为什么这在1.9中起作用,并且在更新时突然开始抛出这个错误,但是当我修复var时,它现在起作用了。

票数 0
EN

Stack Overflow用户

发布于 2018-10-25 19:46:04

气流需要一些数据库才能工作。

通过设置AIRFLOW__CORE__SQL_ALCHEMY_CONN=postgres://airflow:airflow@postgres/airflow,您告诉它使用对应的PostreSQL数据库作为元数据数据库。它会试着用它。

奇怪的是,它在错误消息中抱怨MySQL数据库。我猜您在上一个版本中使用了MySQL,并使用airflow initdb使用MySQL初始化了气流元数据数据库。然后你去掉了MySQL,气流开始抱怨。

我将确保PostgerSQL DB在AIRFLOW__CORE__SQL_ALCHEMY_CONN中指定的连接下是可访问的,并再次运行airflow initdb。气流应该开始使用PostgreSQL DB作为其元数据。

如果它不能工作,并且您可以忍受丢失了所有元数据,那么完全重置可能会有帮助:

代码语言:javascript
复制
airflow resetdb
airflow initdb

还请注意,气流组织推荐在Postgres使用psycopg2。

票数 1
EN

Stack Overflow用户

发布于 2020-04-28 20:41:55

我看你在使用默认的连接配置。

即使您设置了像sql_alchemy_conn这样的变量,气流仍然有在Admin -> Connections菜单中设置的值。

下面是我如何处理一个新的安装:

​

​

在正确的airflow initdb设置之后,使用UI的airflow_db连接中的正确值修复了我所犯的所有"mysql“错误。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/52994980

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档