最新發佈 SDXL Turbo 即時生圖,比閃電更快!
或許是受到 LCM 的啟發,Stability AI 剛剛推出了 SDXL Turbo,一個比四步更快的生圖工具,以 SDXL 為基礎再進化成一步成圖的 SDXL Turbo!
![最新發佈 SDXL Turbo 即時生圖,比閃電更快!](/content/images/size/w1200/2023/11/sdxl_turbo_cover.jpeg)
或許是受到 LCM 的啟發,Stability AI 剛剛推出了 SDXL Turbo,一個比四步更快的生圖工具,以 SDXL 為基礎再進化成一步成圖的 SDXL Turbo!
就算只有一步,也能大大提升畫質到可接受的程度,Stability AI 以新研究的Adversarial Diffusion Distillation (ADD) 技術改良了 SDXL 在生圖過程初期中模糊的問題,能以一步內贏過使用 LCM-XL 四步的畫質,及四步內贏過原生 SDXL 五十步的畫質。最終研發出 SDXL Turbo 大大提升生圖速度同時保持高質畫面。
![](https://blog.256pages.com/content/images/2023/11/turbo_comparing.jpg)
網上測試
Clip Drop 已經有網上免費測試版,可以即時輸入文字圖片即時更新,零等待時間!
![](https://blog.256pages.com/content/images/2023/11/Screenshot-2023-11-28-at-22.47.13.jpg)
大家可以到以下網址進行測試。
![](http://static.clipdrop.co/web/stable-diffusion-turbo/preview-1.0.jpg)
下載測試
官方 HuggingFace 已經放出 Model 以供測試,MacOS Apple Silicon 用家可以下載 fp16 版本。
![](https://cdn-thumbnails.huggingface.co/social-thumbnails/models/stabilityai/sdxl-turbo.png)
下載完成後可以跟一般 Model 一樣放入平時放置 checkpoint 的資料夾。
以下是 Automatic1111 StableDiffusion WebUI 的快速測試
基本設置不用 VAE,Clip skip 設定為 1
,步數設定為 1
,大小設定為 512 x 512
,CFG Scale 設定為 1
。為什麼 SDXL 但要設定為 512 x 512
?我之後會說明。
![](https://blog.256pages.com/content/images/2023/11/Screenshot-2023-11-28-at-22.54.05.png)
![](https://blog.256pages.com/content/images/2023/11/Screenshot-2023-11-28-at-22.54.15.png)
Prompt: cinematic still 1girl . emotional, harmonious, vignette, highly detailed, high budget, bokeh, cinemascope, moody, epic, gorgeous, film grain, grainy
Negative prompt: anime, cartoon, graphic, text, painting, crayon, graphite, abstract, glitch, deformed, mutated, ugly, disfigured
![](https://blog.256pages.com/content/images/2023/11/Screenshot-2023-11-28-at-22.57.52.jpg)
雖然生成出來的圖片不算太高質,眼睛太不太清晰,但只花 1.4 秒來生成也不能太高要求,但官方說一步會比 LCM XL 好,四步會比原生 SDXL 五十步來得好,我覺得也有點誇張。我先輸出幾張 1 ~ 4 步都比較圖片看看花四步會不會比較好!
![](https://blog.256pages.com/content/images/2023/11/xyz_grid-0007-2558627339.jpg)
![](https://blog.256pages.com/content/images/2023/11/xyz_grid-0001-2894295123.jpg)
- 第一步已經成型只是比較模糊。
- 第二步除了看起來比較清晰也沒什麼分別。
- 第三步看起來比較好,有足夠的細節。
- 第四步已經出現了一些多餘的支節。
- 以 Clip Drop 出圖的細節看來都是一步就出圖。
最後根據官方的比較例子生成圖片來看一下分別:
- LCM 根據我之前的測試,權重設定為
0.5
,CGF Scale 設定為1.5
,因為是 SDXL 所以大小設定為1024 x 1024
。 - 原生 SDXL 則用預設設定 50步,不用 refiner 及 VAE。
![](https://blog.256pages.com/content/images/2023/11/sdxl_turbo1.jpeg)
由於速度快我多生幾張來挑選,SDXL Turbo 也沒有好上很多,特別是眼睛!
![](https://blog.256pages.com/content/images/2023/11/sdxl_turbo2.jpeg)
生成 ginger cat 反而沒太大差別,難道 SDXL Turbo 其實是快速生成貓貓圖用的 Model (?)
但 SDXL Turbo 也有明顯缺點,官方列出以下未解決的問題:
- 雖然是 SDXL 但只能生成
512 x 512
的圖片 - 不能生成高真實感的圖片
- 不能生成清晰的文字
- 無法正確生成人臉或人體(特別是眼睛)
- Model 的自動編碼受損
未知是否因為 LCM 推出令官方急於求成推出 SDXL Turbo,但是高速生成圖片令即時生成圖片成為新的發展方向,或者在未來有機會推出修正版本。