高精確度的 SDXL ControlNet - MistoLine

這一款全新的 ControlNet Model 支援 Automatic1111 及 ComfyUI,可以比起一般 Canny 及 LineArt Model 更準確地描繪線條,即使是極精細的圖案及畫面一樣照樣可以控制,是 SDXL 中少有的優質 ControlNet。


什麼是 MistoLine ?

由 TheMisto.ai 團隊所開發,一個基於 SDXL 訓練而成的 ControlNet Model,主要用於控制線條,其特點就是其控制線條的精度極高,比其他 SDXL 的 Canny 或 LineArt Model 更仔細地抽取出圖片中每一條線,因此也能控制生成高精度的圖片。

GitHub - TheMistoAI/MistoLine: A Versatile and Robust SDXL-ControlNet Model for Adaptable Line Art Conditioning
A Versatile and Robust SDXL-ControlNet Model for Adaptable Line Art Conditioning - TheMistoAI/MistoLine
MistoLine

TheMistoLine 團隊使用了創新的演算法 Anyline 來訓練基於 SDXL 的 ControlNet,令此 Model 擁力強勁的效能,特別在複雜的場景更能中展現細節。

使用線稿生成圖片

在一些官方提供的圖片中也不難發現無論多複雜的場景 MistoLine 都能輕鬆駕馭,生成高精度的圖片。

使用 3D Model 生成圖片

使用 3D Model 的 screenshot 也能輕鬆生成一模一樣的圖片,比起慢慢設定 3D 素材及場景再渲染圖片,使用 MistoLine 控制生成圖片更快更高效,使用 SDXL Model 也比一般 SD1.5 的成像更高像素。


ComfyUI 中使用 MistoLine

MistoLine 完美地支援在 ComfyUI 中使用,首先可以下載 MistoLine 官方的 workflow

安裝 Anyline 時可能出現的問題

在載入這個 workflow 後,使用 ComfyUI Manager 自動安裝 ComfyUI-Anyline 這個 node 時可能會出現錯誤。如果出現錯誤請先安裝 comfyui_controlnet_aux ,在 ComfyUI/custom_nodes 目錄中輸入以下指令下載 node。

git clone https://github.com/Fannovel16/comfyui_controlnet_aux/

然後再用 ComfyUI Manager 安裝 ComfyUI-Anyline 即可成功安裝。

使用官方 workflow

隨便網上找一張草圖來測試一下,除了沒有使用 VAE 外,基本上也沒有大改動官方設置,輕易就生成了跟草圖差不多的圖片,大家可以根據需要微調設定。

試試用 3D Model 截圖生成

做用白色的 3D Model 截圖也能生成仔細及合符陰影的圖片,連倒影也一拼生成。


官方也有列出很多不同 ControlNet Model 的比較例子,可以看到 MistoLine 即使在不同的構圖中總是得出不錯的效果。


Automatic1111 WebUI 中使用 MistoLine

Automatic1111 WebUI 當然地支援 MistoLine,在 ControlNet 中不用特別設定,只要選 MistoLine 做 Model 就可以輕易地生成圖片。


總結

在 ControlNet 效果比較差的 SDXL Model 中,MistoLine 有如救星般出現,希望之後可以有更多不同的 SDXL ControlNet 推出!