Cos Stable Diffusion XL 及 Edit 登場,重新定義 inpaint
Stability AI 又推出一款新的 Checkpoint Model - Cos Stable Diffusion XL,Cos 的意思就是 Cosine-Continuous。其中最大賣點就是 Cos Stable Diffusion XL Edit 版整,使用這個 Checkpoint Model 以全新的方法去進行 inpaint,不用落 mask,不用 controlnet,直接用 prompt 就可以做到 inpaint 效果!
Cos Stable Diffusion XL 1.0 Base 是經過 Cosine-Continuous EDM VPred 調整的 Checkpoint Model。這次調整最顯著的特點是其能夠從黑到純白產生完整的色彩範圍,同時在每個步驟中對模型對圖像的變化速率進行了更微妙的改進。
Cos Stable Diffusion XL 1.0 Edit,一樣經過 Cosine-Continuous EDM VPred 調整調,並升級為執行指導式圖像編輯。此 Checkpoint Model 可以以 img2img 和 prompt 作為輸入,將 prompt 解釋為如何改變圖像的指令。
什麼是 Cos Stable Diffusion XL 及 Cos StableDiffusion XL Edit?
Stability AI 又推出一款新的 Checkpoint Model - Cos Stable Diffusion XL,Cos 的意思就是 Cosine-Continuous。其中最大賣點就是 Cos Stable Diffusion XL Edit 版整,使用這個 Checkpoint Model 以全新的方法去進行 inpaint,不用落 mask,不用 ControlNet,直接用 prompt 就可以做到 inpaint 效果!
使用 ComfyUI 及 Cos XL Edit 進行 inpaint
首先到官方 Hugging Face 下載 cosxl_edit.safetensors
這個用於 inpaint 的版本。下載前需要輸入一些個人資料確定,隨便輸入就可以。
使用 Cos XL Edit 作為 Checkpoint 加入簡單的 prompts,即可完成 inpaint,保持圖片風格/外型的情況下,不用落 mask,ControlNet 或任何額外操作。
直接用 prompts 描述一隻粉藍色的狗就可以生成跟原圖相似的圖片。
只需輸入 underwater,原本在太空騎馬慢步的太空人即時變成水中慢步。
Cos Stable Diffusion XL Edit 大大改變了一直以來 inpaint 的方法,完全不用其他操作,只用 prompt 就可以進行 inpaint,實現了文字分析圖像及理解文字描述所指需要重繪的位置,令整個 inpaint 修改圖片的動作變的極為簡易,相信是另一個改變 Stable Diffusion 生態的重大發佈。