SDXL 要怎樣使用 VAE 呢？

在使用 SDXL 時，很多 SD 1.5 / 2.1 的 Model 都不能再使用，其中 VAE 也不能再使用了，那麼要用什麼 VAE 配搭 SDXL 呢，還是在 SDXL 已經不需要 VAE 呢？

什麼是 VAE?

Stable Diffusion 中的 VAE 是什麼?

在 Stable Diffusion 中常常會見到 Checkpoint Model 需要配合 VAE 使用，到底 VAE 是什麼？有什麼用途？什麼時候需要用？要怎樣用？以下我就會為大家詳盡解釋 VAE 是什麼東西。

從不停下來的學習Edmond Yip

就像 StabilityAI 官方為 Stable Diffusion SD 1.5 推出的 vae-ft-mse-84000 一樣，其實官方也有推出 VAE 以供 SDXL 使用，而且還有兩種方法。

第一種方法

就是使用已包含 VAE 在內的 SDXL Model，分別有 base 及 refiner 版本。

• sd_xl_base_1.0_0.9vae.safetensors 容量為 6.94 GB。
• sd_xl_refiner_1.0_0.9vae.safetensors 容量為 6.08 GB。

sd_xl_base_1.0_0.9vae.safetensors · stabilityai/stable-diffusion-xl-base-1.0 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

sd_xl_refiner_1.0_0.9vae.safetensors · stabilityai/stable-diffusion-xl-refiner-1.0 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

下載後只需直接使用該 SDXL Model，此兩個 SDXL Model 皆已合併 VAE 毋需另行加入 VAE。

第二種方法

當然使用原生 SDXL 時還是需要配搭 VAE 使用，可以下載 SDXL 專用的 VAE 。

stabilityai/sdxl-vae at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

只要放到 models/VAE 內即可以選取。

從結果上來看，使用了 VAE 對比度會比較高，輪廓會比較明顯，但也沒有 SD 1.5 時灰了一片的情況，所以也可以按情況決定有沒有需要加上 VAE。