高精確度的 SDXL ControlNet - MistoLine
這一款全新的 ControlNet Model 支援 Automatic1111 及 ComfyUI,可以比起一般 Canny 及 LineArt Model 更準確地描繪線條,即使是極精細的圖案及畫面一樣照樣可以控制,是 SDXL 中少有的優質 ControlNet。
什麼是 MistoLine ?
由 TheMisto.ai 團隊所開發,一個基於 SDXL 訓練而成的 ControlNet Model,主要用於控制線條,其特點就是其控制線條的精度極高,比其他 SDXL 的 Canny 或 LineArt Model 更仔細地抽取出圖片中每一條線,因此也能控制生成高精度的圖片。
TheMistoLine 團隊使用了創新的演算法 Anyline 來訓練基於 SDXL 的 ControlNet,令此 Model 擁力強勁的效能,特別在複雜的場景更能中展現細節。
在一些官方提供的圖片中也不難發現無論多複雜的場景 MistoLine 都能輕鬆駕馭,生成高精度的圖片。
使用 3D Model 的 screenshot 也能輕鬆生成一模一樣的圖片,比起慢慢設定 3D 素材及場景再渲染圖片,使用 MistoLine 控制生成圖片更快更高效,使用 SDXL Model 也比一般 SD1.5 的成像更高像素。
ComfyUI 中使用 MistoLine
MistoLine 完美地支援在 ComfyUI 中使用,首先可以下載 MistoLine 官方的 workflow 。
安裝 Anyline 時可能出現的問題
在載入這個 workflow 後,使用 ComfyUI Manager 自動安裝 ComfyUI-Anyline 這個 node 時可能會出現錯誤。如果出現錯誤請先安裝 comfyui_controlnet_aux ,在 ComfyUI/custom_nodes
目錄中輸入以下指令下載 node。
git clone https://github.com/Fannovel16/comfyui_controlnet_aux/
然後再用 ComfyUI Manager 安裝 ComfyUI-Anyline 即可成功安裝。
隨便網上找一張草圖來測試一下,除了沒有使用 VAE 外,基本上也沒有大改動官方設置,輕易就生成了跟草圖差不多的圖片,大家可以根據需要微調設定。
做用白色的 3D Model 截圖也能生成仔細及合符陰影的圖片,連倒影也一拼生成。
官方也有列出很多不同 ControlNet Model 的比較例子,可以看到 MistoLine 即使在不同的構圖中總是得出不錯的效果。
Automatic1111 WebUI 中使用 MistoLine
Automatic1111 WebUI 當然地支援 MistoLine,在 ControlNet 中不用特別設定,只要選 MistoLine 做 Model 就可以輕易地生成圖片。
總結
在 ControlNet 效果比較差的 SDXL Model 中,MistoLine 有如救星般出現,希望之後可以有更多不同的 SDXL ControlNet 推出!