Fooocus 再度進化,新模式新功能

現在幾乎是我最喜歡的 Stable Diffusion 軟件,剛剛更新到最新版本 2.1.824 還沒有到 2.2 但已經加入很多強大的功能,並一直與 Midjourney 看齊。


更新程式

  • 先使用指令 git pull 取得最新版本。
  • 使用指令 python entry_with_update.py 啟動同時進行更新。
Newer models and configs are available. Download and update files? [Y/n]
  • 系統會問你是否更新及下載再新 Model。按 Y 確定就會開始更新更下載新 Model。
  • 這次更新會預設下載 Juggrnaut XL v6 取代 原生 SDXL v1 Model 以取得更好效果,此 Model 生成歐美真人相當有真實感,值得推薦使用。
  • 由 Fooocus v2.1.60 開始支援不同的啟動模式。
  • 如果目標是生成動漫人物的話,可以使用 python entry_with_update.py --preset anime 作為啟動指令,Windows 用戶可以用 run_anime.bat 啟動程式,那麼預設下載的 Model 會改為 blue Pencil XL 。並會下載 DreamShaper v8 作為 refiner model 及 unaesthetic XL v3.1 為其 embeddings,原來可以用 1.5 Model 來作 refiner 使用。
  • 既然有生成動漫人物專用的指令,當然也提供了生成真實人物的指令,使用 python entry_with_update.py --preset realistic 作為啟動指令,Windows 用戶可以以用 run_realistic.bat 啟動程式,就會下載 Realistic Stock Photo v1 作為 Model,名符其實此款 Model 可生成貌似 Stock Photo 的相片。另外還會下載 SDXL Film Photography Style 作 LoRA 取代 SDXL Offset 並會用直倒 896 x 1152 生成圖片。

測試三個模式

把東西都下載好後,接下來就試試看預設模式下三個設定生成出來的圖片有什麼分別! Prompt 為 1girlginger cat

預設模式

  • Performance 為 Speed,長闊大預為 1152 x 896
  • Style 同時使用了 Fooocus V2, Fooocus Enhance , Fooocus Sharp
  • Base Mode 使用 Juggernaut XL v6 ,沒有使用 refiner。
  • LoRA 使用了 SDXL Offset。
  • Guidance Scale 設定為 4 ,Image Sharpness 設定為 2
  • 1girl 出來多數是歐美女性的樣子,真實感高,色調偏黃,有專業攝影的感覺。
  • ginger cat 真貓一樣,貓毛偏長(?),環境光還是偏黃,對比高很高,毛髮精細度也很高!

寫實模式預設設定

  • Performance 為 Speed,長闊大預為 896 x 1152
  • Style 同時使用了 Fooocus V2 , Fooocus Photograph , Fooocus Negative
  • Base Model 使用了 Realistic Stock Photo v1 ,沒有使用 Refiner。
  • LoRA 使用了 SDXL Film Photography Style 。
  • Guidance Scale 設定為 3 ,Image Sharpness 設定為 2
  • 1girl 出來有日系女孩的樣子,色調偏藍有用菲林相機拍照的感覺。
  • ginger cat 還是很可愛的貓貓,景深相當強,色調較柔和,對比度也比較低。

動漫模式預設設定

  • Performance 為 Speed,長闊大預為 896 x 1152
  • Negative Prompt 中使用了 unaesthetic XL v3.1
  • Base Model 使用了 bluePencil XL v5
  • Refiner Model 使用了 DreamShaper v8
  • LoRA 使用了 SDXL offset 。
  • Style 同時使用了 Fooocus V2, Fooocus Masterpiece, SAI Anime, SAI Digital Art, SAI Enhance, SAI Fantasy Art
  • Guidance Scale 為 7 ,Image Sharpness 為 2
  • 1girl 都有些中國風的建築背景,人物的服飾也有些中國元素,色調柔和有些平塗的感覺。
  • ginger cat 長毛風格的貓貓,顏色亮麗畫風也很平易近人。

極速模式

在最近 LCM 及 SDXL Turbo 推動高速化生成,Fooocus 當然也有提供極速模式,在 Performance 選取 Extreme Speed 模式,開始生成前會自動下載 SDXL LCM LoRA,同時會鎖定了 Advanced 中的 Guidance Scale 及 Image Sharpness 設定。同時生成步數會大幅減少至 8 。

以下是預設模式 Extreme Speed 下生成的圖片:

雖然解像度明顯下解了不少,但整體上的成果還是比 Stable Diffusion WebUI +LCM 優秀,相信 Fooocus V2 的 prompt 幫上了不少忙,速度上即使沒有快至 1 秒完成,但也比 Speed Mode 快上幾倍,對電腦比較慢的用家有很大幫助!


Fooocus Styles

  • 之前的 Default (Slightly Cinematic) 改成 Fooocus Cinematic。
  • 新增 Fooocus Sharp 來改善 SDXL 的模糊及增加銳利度。
  • 新增 Fooocus Enhance 來自 Juggernaut XL 預設的 negative prompts 來改善圖片的質素。
  • 將原本預設的 Default (Slightly Cinematic) 改成 Fooocus Sharp, Fooocus Enhance 及 Fooocus V2 。
  • 現在選取了的 Style 會排到最高。

Image Prompt

就像 Stable Diffusion 使用 IP-Adapter 一樣可以跟據輸入的圖片去生成圖片,不過一些生圖的原則就有點不一樣,反而跟 Midjourney 的 Image Prompt 相似。

以下圖表比較三者的分別:

Midjourney Ip-Adapter Fooocus
文字Prompt 與圖片 Prompt 混合 多數會無視文字 Prompt 與圖片 Prompt 混合
使用多張圖片 維持畫質 畫質下降 維持畫質
單圖輸入失敗 輸出無關連但
維持高畫質的圖片
輸出有關連但
低畫質的圖片
輸出無關連但
維持高畫質的圖片
多圖輸入失敗 無視無效的圖片
維持高畫質的圖片
輸出有關連但
低畫質的圖片
無視無效的圖片
維持高畫質的圖片
畫質影響 輸入圖片對畫質無影響 輸入低質圖片會
影響輸出圖片畫質
輸入圖片對畫質幾乎無影響
結果變化 輸入圖片後仍然有變化 變化較少 輸入圖片後仍然有變化

測試使用

首先打開 Input Image 選取 Image Prompt,最少選取一張最多可以同時選取四張圖片做 Reference ,選取底部的 Advanced 可以調整更多細節。

  • 首先以三張名畫做 Image Prompt 。
  • Performance 使用 Speed。
  • Prompt: 1girl
  • Style 選取 Fooocus v2 , Fooocus EnhanceFooocus Sharp
  • Base Model 使用原生 SDXL 以免變成真人/動漫人物,Refiner Model 使用原生 SDXL Refiner。
  • 一次生成兩張 1152 x 896 看看效果如何。
  • 首次使用 Image Prompt 又要下載一些 Model。

接下來打開 Advanced Mode 來試試不同 Model 下的作用。

Prompt: 1girl, new york street

ImagePrompt

將畫作真人化,大概保留了顏色及各種元素(白人,頭巾,衣著,耳環),此功能就是分析圖像將其當成 prompt 使用生成圖片。

PyraCanny

PyraCanny 就像 ControlNet 的 Canny 差不多,幾圖片線條化再依照外框生成圖片,所以可以保留圖片外型,但入面的顏色就要靠 prompt 去決定。

CPDS

CPDS 全寫是 Contrast Preserving Decolorization,簡單來說就是黑白化同時保持對比度,出來的結果比起 PyraCanny 跟原圖的線條沒這麼相似,但也保持一定外型。

FaceSwap

FaceSwap 名符其實就是換臉,將圖片的人臉換上跟據你 prompt 生成的圖片上,樣子會跟原圖比較接近。


由於 Fooocus 新功能推出太快,所以介紹得有點遲,現在功能越來越強勁,加上 LCM 等快速生成技術,令 Fooocus 馬上進化到超越 Midjourney 了。