Stable Diffusion 中的 VAE 是什麼?
在 Stable Diffusion 中常常會見到 Checkpoint Model 需要配合 VAE 使用,到底 VAE 是什麼?有什麼用途?什麼時候需要用?要怎樣用?以下我就會為大家詳盡解釋 VAE 是什麼東西。
![Stable Diffusion 中的 VAE 是什麼?](/content/images/size/w1200/2023/07/Screenshot-2023-07-14-at-23.12.07.jpg)
在 Stable Diffusion 中常常會見到 Checkpoint Model 需要配合 VAE 使用,到底 VAE 是什麼?有什麼用途?什麼時候需要用?要怎樣用?以下我就會為大家詳盡解釋 VAE 是什麼東西。
VAE 是什麼?
VAE 全寫是 Variable Auto Encoder,可以用於改善 Checkpoint Model 生成出來的圖像,顏色及修復面部或手部。由於針對較少的空間進行圖像編碼,所以運算速度比較快。
VAE 有什麼用途?
簡單而言就是令生成的圖像更好。對顏色的調整及細節的修復很有幫助,也有幫助修復生成眼睛等精細部位的效果。Stability AI 也發佈了兩個 VAE,EMA 和 MSE。
![](https://blog.256pages.com/content/images/2023/07/image-12.jpeg)
當中 EMA 會令圖片更清晰,而 MSE 會令圖片更加平滑。如想了解更多三者的比較可以到以下連結看詳情及下載 EMA 或 MSE。
![](https://cdn-thumbnails.huggingface.co/social-thumbnails/models/stabilityai/sd-vae-ft-ema.png)
什麼時候需要使用 VAE?
在 Civitai 有時候下載回來的 checkpoint 注明 Baked VAE
就是已經包含在 checkpoint 中。好像 Dark Sushi Mix Colorful
就必需連 VAE 使用,否則出來就像濛上一層灰色的霧一樣。
![](https://blog.256pages.com/content/images/2023/07/00005-865245114.png)
![](https://blog.256pages.com/content/images/2023/07/00004-865245114.png)
要怎麼使用 VAE?
很簡單,首先下載 VAE 檔案
- EMA https://huggingface.co/stabilityai/sd-vae-ft-ema-original/resolve/main/vae-ft-ema-560000-ema-pruned.ckpt
- MSE https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt
- 將下載檔放在
stable-diffusion-webui/models/VAE
中 - 在 settings > Stable Diffusion > SD VAE 中可以選擇所需 VAE
![](https://blog.256pages.com/content/images/2023/07/Screenshot-2023-07-14-at-23.06.08.png)
也可以快速設定列中常駐 VAE 方便隨時更換 VAE
![](https://blog.256pages.com/content/images/2023/07/Screenshot-2023-07-14-at-22.52.02.png)