在苹果M系列Mac上运行SD3图像生成

Stable Diffusion 3 (SD3) 是最新版本的开源AI模型，能够将文本转换为图像。可以在Apple Silicon Mac上本地运行它，并在几分钟内开始生成惊艳的图片。

前置要求

• 配备M系列Apple Silicon芯片的Mac
• Git

克隆仓库并设置环境

运行以下命令克隆SD3代码仓库：

git clone https://github.com/zsxkib/sd3-on-apple-silicon.git
cd sd3-on-apple-silicon

然后，使用SD3所需的包创建新的虚拟环境：

python3 -m venv sd3-env
source sd3-env/bin/activate
pip install -r requirements.txt

运行！

现在，可以生成第一张SD3图像：

python sd3-on-mps.py

首次运行会下载SD3模型和权重文件，大小约为15.54 GB。后续运行将使用已下载的文件。

不到一分钟，目录中就会生成一张名为 sd3-output-mps.png 的新图像，内容类似：一只举着牌子写着“hello world”的猫。

自定义图像

可以在 sd3-on-mps.py 中调整多种设置来生成不同的图像：

• seed：设置特定数值以重现相同图像，或保持为 None 使每次生成不同的图像
• prompt：修改此文本以生成不同图像（例如：“山上的日落”）
• height 和 width：调整这些数值改变图像尺寸（例如设置为1024获得更大图像）
• num_inference_steps：增加此数值可获得更精细的图像。步数越多质量越好，但生成速度会变慢
• guidance_scale：修改此数值控制图像与提示词的匹配程度。数值越高图像越准确，但可能显得不够自然

另一种选择：DiffusionKit

DiffusionKit 是一个CLI工具，可以使用Python MLX运行SD3。它提供了另一种运行SD3的方式，无需手动克隆SD3仓库和设置环境。使用方法如下：

1. 设置新的虚拟环境并安装DiffusionKit：

python3 -m venv diffusionkit-env
source diffusionkit-env/bin/activate
cd /path/to/diffusionkit/repo
pip install -e .

1. 使用READ令牌登录Hugging Face Hub：

huggingface-cli login --token YOUR_HF_HUB_TOKEN

1. 使用所需设置运行DiffusionKit：

diffusionkit-cli \
--prompt "一只举着牌子写着hello world的猫" \
--height 512 \
--width 512 \
--steps 28 \
--cfg 7.0 \
--output-path "/path/to/output/sd3-output-diffusionkit.png" \
--a16 \
--w16

部分参数说明：

• --a16：以float16格式运行模型，使用更少内存
• --w16：以float16格式加载模型，节省更多内存
• --t5：改善文本理解但占用更多内存，支持更长提示词（超过77个token）

速度对比

以下是在配备128GB内存的M3 Max MacBook Pro上生成512x512图像（28步）的平均耗时：

不同DiffusionKit设置的耗时：

同时使用 --a16 和 --w16 可以节省内存并加快生成速度，而 --t5 允许更长提示词但会占用更多内存并降低生成速度。FINISHED