Cos Stable Diffusion XL 及 Edit 登場,重新定義 inpaint

Stability AI 又推出一款新的 Checkpoint Model - Cos Stable Diffusion XL,Cos 的意思就是 Cosine-Continuous。其中最大賣點就是 Cos Stable Diffusion XL Edit 版整,使用這個 Checkpoint Model 以全新的方法去進行 inpaint,不用落 mask,不用 controlnet,直接用 prompt 就可以做到 inpaint 效果!

Cos Stable Diffusion XL 及 Edit 登場,重新定義 inpaint
Cos Stable Diffusion XL 及 Edit 登場,重新定義 inpaint

Cos Stable Diffusion XL 1.0 Base 是經過 Cosine-Continuous EDM VPred 調整的 Checkpoint Model。這次調整最顯著的特點是其能夠從黑到純白產生完整的色彩範圍,同時在每個步驟中對模型對圖像的變化速率進行了更微妙的改進。

Cos Stable Diffusion XL 1.0 Edit,一樣經過 Cosine-Continuous EDM VPred 調整調,並升級為執行指導式圖像編輯。此 Checkpoint Model 可以以 img2img 和 prompt 作為輸入,將 prompt 解釋為如何改變圖像的指令。


什麼是 Cos Stable Diffusion XL 及 Cos StableDiffusion XL Edit?

Stability AI 又推出一款新的 Checkpoint Model - Cos Stable Diffusion XL,Cos 的意思就是 Cosine-Continuous。其中最大賣點就是 Cos Stable Diffusion XL Edit 版整,使用這個 Checkpoint Model 以全新的方法去進行 inpaint,不用落 mask,不用 ControlNet,直接用 prompt 就可以做到 inpaint 效果!


使用 ComfyUI 及 Cos XL Edit 進行 inpaint

首先到官方 Hugging Face 下載 cosxl_edit.safetensors 這個用於 inpaint 的版本。下載前需要輸入一些個人資料確定,隨便輸入就可以。

stabilityai/cosxl at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

使用 Cos XL Edit 作為 Checkpoint 加入簡單的 prompts,即可完成 inpaint,保持圖片風格/外型的情況下,不用落 mask,ControlNet 或任何額外操作。

直接用 prompts 描述一隻粉藍色的狗就可以生成跟原圖相似的圖片。

另一個 Cos XL Edit inpaint 的例子

只需輸入 underwater,原本在太空騎馬慢步的太空人即時變成水中慢步。


Cos Stable Diffusion XL Edit 大大改變了一直以來 inpaint 的方法,完全不用其他操作,只用 prompt 就可以進行 inpaint,實現了文字分析圖像及理解文字描述所指需要重繪的位置,令整個 inpaint 修改圖片的動作變的極為簡易,相信是另一個改變 Stable Diffusion 生態的重大發佈。