我正在尝试将我们的气流升级到1.10.0。当我这样做时,我会收到一个错误,抱怨它无法连接到mysql:
worker_1 | sqlalchemy.exc.OperationalError: (_mysql_exceptions.OperationalError) (2002, 'Can\'t connect to local MySQL server through socket \'/var/run/mysqld/mysqld.sock\' (2 "No such file or directory")') (Background on this error at: http://sqlalche.me/e/e3q8)当我试图将mysql从我们的系统中完全删除时,我得到了以下内容:
scheduler_1 | [2018-10-25 17:22:19,399] {{celery_executor.py:113}} ERROR - No module named 'MySQLdb'Mysql没有出现在我们设置的任何环境变量中,也没有出现在airflow.cfg中。似乎这个版本的气流出于其他原因需要mysql。这是真的吗?
更新--这类似于引发的这里问题,但我更感兴趣的是,为什么气流要调用mysql。
我还应该指出,我们确实显式地将sqlalchemy连接设置为postgres数据库。
AIRFLOW__CORE__SQL_ALCHEMY_CONN=postgres://airflow:airflow@postgres/airflow当气流试图写入任务运行的结果(标记为失败)时,会发生错误。
更新
这是我使用的码头文件,它定义了气流图像。请注意,没有提到mysql:
# SOURCE: https://github.com/puckel/docker-airflow
FROM python:3.6-jessie
# Never prompts the user for choices on installation/configuration of packages
ENV DEBIAN_FRONTEND noninteractive
ENV TERM linux
# Airflow
ARG AIRFLOW_VERSION=1.10.0
ARG AIRFLOW_HOME=/usr/local/airflow
# Define en_US.
ENV LANGUAGE en_US.UTF-8
ENV LANG en_US.UTF-8
ENV LC_ALL en_US.UTF-8
ENV LC_CTYPE en_US.UTF-8
ENV LC_MESSAGES en_US.UTF-8
ENV PYTHONPATH ${AIRFLOW_HOME}
ENV AIRFLOW_GPL_UNIDECODE yes
COPY ./requirements.txt .
RUN set -ex \
&& buildDeps=' \
python3-dev \
libkrb5-dev \
libsasl2-dev \
libssl-dev \
libffi-dev \
build-essential \
libblas-dev \
liblapack-dev \
libpq-dev \
git \
' \
&& apt-get update -yqq \
&& apt-get upgrade -yqq \
&& apt-get install -yqq --no-install-recommends \
$buildDeps \
python3-pip \
python3-requests \
apt-utils \
curl \
rsync \
netcat \
locales \
vim \
&& sed -i 's/^# en_US.UTF-8 UTF-8$/en_US.UTF-8 UTF-8/g' /etc/locale.gen \
&& locale-gen \
&& update-locale LANG=en_US.UTF-8 LC_ALL=en_US.UTF-8 \
&& useradd -ms /bin/bash -d ${AIRFLOW_HOME} airflow \
&& pip install -U pip setuptools wheel \
&& pip install Cython \
&& pip install pytz \
&& pip install pyOpenSSL \
&& pip install ndg-httpsclient \
&& pip install pyasn1 \
&& pip install apache-airflow[crypto,celery,postgres,hive,jdbc]==$AIRFLOW_VERSION \
&& pip install 'celery[redis]>=4.1.1,<4.2.0' \
&& pip install -r requirements.txt \
&& apt-get purge --auto-remove -yqq $buildDeps \
&& apt-get autoremove -yqq --purge \
&& apt-get clean \
&& rm -rf \
/var/lib/apt/lists/* \
/tmp/* \
/var/tmp/* \
/usr/share/man \
/usr/share/doc \
/usr/share/doc-base
COPY script/entrypoint.sh /entrypoint.sh
COPY celery_healthcheck.sh ${AIRFLOW_HOME}
COPY config/airflow.cfg ${AIRFLOW_HOME}/airflow.cfg
COPY dags ${AIRFLOW_HOME}/dags
COPY operators ${AIRFLOW_HOME}/operators
COPY models ${AIRFLOW_HOME}/models
COPY constants.py ${AIRFLOW_HOME}/constants.py
COPY envconsul ${AIRFLOW_HOME}/envconsul
COPY *.hcl ${AIRFLOW_HOME}/
RUN chown -R airflow: ${AIRFLOW_HOME}
EXPOSE 8080 5555 8793
USER airflow
WORKDIR ${AIRFLOW_HOME}发布于 2018-10-26 19:49:25
弄明白了。原来,另一个env (AIRFLOW__CELERY__RESULT_BACKEND)是用一个错误设置的。我把它设置为AIRFLOW__CELERY__CELERY_RESULT_BACKEND。我不清楚为什么这在1.9中起作用,并且在更新时突然开始抛出这个错误,但是当我修复var时,它现在起作用了。
发布于 2018-10-25 19:46:04
气流需要一些数据库才能工作。
通过设置AIRFLOW__CORE__SQL_ALCHEMY_CONN=postgres://airflow:airflow@postgres/airflow,您告诉它使用对应的PostreSQL数据库作为元数据数据库。它会试着用它。
奇怪的是,它在错误消息中抱怨MySQL数据库。我猜您在上一个版本中使用了MySQL,并使用airflow initdb使用MySQL初始化了气流元数据数据库。然后你去掉了MySQL,气流开始抱怨。
我将确保PostgerSQL DB在AIRFLOW__CORE__SQL_ALCHEMY_CONN中指定的连接下是可访问的,并再次运行airflow initdb。气流应该开始使用PostgreSQL DB作为其元数据。
如果它不能工作,并且您可以忍受丢失了所有元数据,那么完全重置可能会有帮助:
airflow resetdb
airflow initdb发布于 2020-04-28 20:41:55
我看你在使用默认的连接配置。
即使您设置了像sql_alchemy_conn这样的变量,气流仍然有在Admin -> Connections菜单中设置的值。
下面是我如何处理一个新的安装:

在正确的airflow initdb设置之后,使用UI的airflow_db连接中的正确值修复了我所犯的所有"mysql“错误。
https://stackoverflow.com/questions/52994980
复制相似问题