最新發佈 SDXL Turbo 即時生圖,比閃電更快!
或許是受到 LCM 的啟發,Stability AI 剛剛推出了 SDXL Turbo,一個比四步更快的生圖工具,以 SDXL 為基礎再進化成一步成圖的 SDXL Turbo!
就算只有一步,也能大大提升畫質到可接受的程度,Stability AI 以新研究的Adversarial Diffusion Distillation (ADD) 技術改良了 SDXL 在生圖過程初期中模糊的問題,能以一步內贏過使用 LCM-XL 四步的畫質,及四步內贏過原生 SDXL 五十步的畫質。最終研發出 SDXL Turbo 大大提升生圖速度同時保持高質畫面。
網上測試
Clip Drop 已經有網上免費測試版,可以即時輸入文字圖片即時更新,零等待時間!
大家可以到以下網址進行測試。
下載測試
官方 HuggingFace 已經放出 Model 以供測試,MacOS Apple Silicon 用家可以下載 fp16 版本。
下載完成後可以跟一般 Model 一樣放入平時放置 checkpoint 的資料夾。
以下是 Automatic1111 StableDiffusion WebUI 的快速測試
基本設置不用 VAE,Clip skip 設定為 1
,步數設定為 1
,大小設定為 512 x 512
,CFG Scale 設定為 1
。為什麼 SDXL 但要設定為 512 x 512
?我之後會說明。
Prompt: cinematic still 1girl . emotional, harmonious, vignette, highly detailed, high budget, bokeh, cinemascope, moody, epic, gorgeous, film grain, grainy
Negative prompt: anime, cartoon, graphic, text, painting, crayon, graphite, abstract, glitch, deformed, mutated, ugly, disfigured
雖然生成出來的圖片不算太高質,眼睛太不太清晰,但只花 1.4 秒來生成也不能太高要求,但官方說一步會比 LCM XL 好,四步會比原生 SDXL 五十步來得好,我覺得也有點誇張。我先輸出幾張 1 ~ 4 步都比較圖片看看花四步會不會比較好!
- 第一步已經成型只是比較模糊。
- 第二步除了看起來比較清晰也沒什麼分別。
- 第三步看起來比較好,有足夠的細節。
- 第四步已經出現了一些多餘的支節。
- 以 Clip Drop 出圖的細節看來都是一步就出圖。
最後根據官方的比較例子生成圖片來看一下分別:
- LCM 根據我之前的測試,權重設定為
0.5
,CGF Scale 設定為1.5
,因為是 SDXL 所以大小設定為1024 x 1024
。 - 原生 SDXL 則用預設設定 50步,不用 refiner 及 VAE。
由於速度快我多生幾張來挑選,SDXL Turbo 也沒有好上很多,特別是眼睛!
生成 ginger cat 反而沒太大差別,難道 SDXL Turbo 其實是快速生成貓貓圖用的 Model (?)
但 SDXL Turbo 也有明顯缺點,官方列出以下未解決的問題:
- 雖然是 SDXL 但只能生成
512 x 512
的圖片 - 不能生成高真實感的圖片
- 不能生成清晰的文字
- 無法正確生成人臉或人體(特別是眼睛)
- Model 的自動編碼受損
未知是否因為 LCM 推出令官方急於求成推出 SDXL Turbo,但是高速生成圖片令即時生成圖片成為新的發展方向,或者在未來有機會推出修正版本。