震撼世界的 FLUX.1
FLUX 是由 Black Forest Labs 推出的強大圖片生成 Model,其威力遠比現有的任何 Stable Diffusion Model 強大,甚至比 Midjourney 有過之而無不及。生成真實圖片好比真人相片,生成文字及手指也毫無難度,唯一要面對的問題相信就是效能的需求極高,電腦弱一點也運行不到 FLUX Model。內附ComfyUI workflow 及 MacOS 運行教學。
FLUX 是由 Black Forest Labs 推出的強大圖片生成 Model,其威力遠比現有的任何 Stable Diffusion Model 強大,甚至比 Midjourney 有過之而無不及。生成真實圖片好比真人相片,生成文字及手指也毫無難度,唯一要面對的問題相信就是效能的需求極高,電腦弱一點也運行不到 FLUX Model。內附ComfyUI workflow 及 MacOS 運行教學。
這一款全新的 ControlNet Model 支援 Automatic1111 及 ComfyUI,可以比起一般 Canny 及 LineArt Model 更準確地描繪線條,即使是極精細的圖案及畫面一樣照樣可以控制,是 SDXL 中少有的優質 ControlNet。
大家應該在不少 C 站的作品中見到 score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up ,這種意義不明,複製了又好像沒有什麼作用的 prompts,到底這些 score 有什麼作用?讓我們深入探討一下。
雖然 Stable Diffusion 3 Medium 順利在 6月12日推出,但卻引起安全性的爭議及版權的限制的問題。
下載及使用 Stable Diffusion 3 Medium 的教學。
現在 Fooocus 及 ControlNet 的作者 lllyasviel 再推出 Stable Diffusion WebUI Forge,一個基於 Automatic1111 版本改良的版本,除了 Automatic1111 的基本功能外,還新增一些內置功能以及使用不同的 Backend,新 Backend 使用更少記憶體及擁有更快的速度。
Stable Diffusion 在推出短短兩年間已經推出了多個版本,最為人熟悉的就是 Stability AI 推出的 1.5 跟 SDXL 。那麼除此之外,還有什麼版本呢?就由最初 Stable Diffusion 的起源開始說起。
Control LoRA,是利用 LoRA 做到類似 ControlNet 的效果,也有一些針對部份位置 e.g. 眼睛的 Control LoRA,比 ControlNet 更易於使用,容量也很少。
Fooocus 的更新來的既快且強,每次都有明顯的改善及新增的功能。Fooocus 2.3 的更新當然也不例外,原作者在推出 WebUI Forge 版同時維持 Fooocus 2.3 的更新也相當不容易。
大家應該有試過生成出來的圖片很假,一看就知道是 AI 生成的樣子,但生成的人物好喜歡,如果大幅修改 prompts,恐怕出來會是另一個樣子,使用 img2img 又會有奇怪的光源。 曾經開發 ControlNet/Fooocus/Forge 的大神 lllyasviel 近日又有新軟件推出,今次推出的 IC-Light 軟件可以為原有的圖片生成一致性的光源。
每次要找 ControlNet 的 Model 也要花一點時間,因為有幾個不同的開發者也有提供 ControlNet Model,而每個人提供的 Model 也有一點分別,以下我會列出所有 ControlNet 的 Model 並注明版本,最重要的是會提供官方下載連結 (盡量使用 huggingface 下載點),方便各位尋找所需 ControlNet Model。
SDXL 版本的 prompts 鏡頭距離視角教學,可以單純使用 prompts 就控制鏡頭距離視角,而不用 ControlNet 或其他 extensions。同時也新增場景構圖 prompts 以供參考。
今個月依然是消息量極高的一個月,希望 CEO 離去一事不會令 Stable Diffusion 從此消失就好了。當然還有大量新 Model 推出才是最令人感動興奮的事!
在 Meta open source 推出 Llama 3 後,很多相關的應用程式都應運而生,現在最常用的 ComfyUI 及 Automatic1111/forge 都有可以使用 Llama 3 來豐富你的 prompts,而且不用擔心複雜的操作,因為已經有相關 extensions 推出,只需簡單的安裝過程即可使用。
在 Stable Diffusion 3 推出 API 後,雖然我也有介紹過用 Colab 連接 Stable Diffusion 3 API 的方法,但是習慣做用本地生成工具的大家也許不習慣做用 Colab,所以就為大家帶來 ComfyUI 的做用方法。
Stable Diffusion WebUI 1.9 終於可以分開選 sampling method 跟 schedule type,也有各方面的修正及改善,馬上來看看有什麼更新!
Stable Diffusion
萬眾期待的 Stable Diffusion 3,日前已經在 Stability AI Developer Platform API 以 API 搶先發佈,看來跟傳聞一樣未必會以 open source 形式公開。
Stable Diffusion
Stability AI 又推出一款新的 Checkpoint Model - Cos Stable Diffusion XL,Cos 的意思就是 Cosine-Continuous。其中最大賣點就是 Cos Stable Diffusion XL Edit 版整,使用這個 Checkpoint Model 以全新的方法去進行 inpaint,不用落 mask,不用 controlnet,直接用 prompt 就可以做到 inpaint 效果!
Stable Diffusion
有時想知道一張相片應該用什麼文字來形容,這張圖片可能是來自 Midjourney、Stable Diffusion,Photoshop 繪畫的圖片或是相機拍攝的真實相片,雖然 Stable Diffusion 的圖片可以憑 infotext 去讀取 prompts,但經過轉存或壓縮的圖片也可能遺失 infotext,這時候我們可以用什麼方法取得 prompts?
Google Analytics
雖然很久沒寫技術文章,但有讀者向我問能否用之前所教的方法應用在 GA4。以下是我之前講述在本地使用 Google 的 analytics.js 來避開 CSP 的封鎖。
Stable Diffusion
Stability AI 宣布發布其最新模型 Stable Video 3D (SV3D),專為渲染 3D 影片而設計。 SV3D 在先前 Stable Video Diffusion 的基礎上引入了新的深度,能夠從單一影像輸入建立和轉換多視圖 3D 視訊。
Stable Diffusion
終於迎來 Automatic1111 Stable Diffusion WebUI v1.80 ,今次更新也新增了不少有用的功能,我們馬上來看看有什麼重點的更新!
Stable Diffusion
過去一個月可精彩了,多個重量級 Model 連環推出,Stable Diffusion 經過加速後,就再次增加畫質及對文字理解能力的大型 Model,每隔一兩個月就大幅提升,而且次次都充滿驚喜!
Stable Diffusion
對很多 Stable Diffusion 的用家來說,有時候生成的圖片總是很不太好看,想要的原素都有齊了,但畫質不夠高。也有常常使用 SD 1.5 可以生成優質圖片的用家,在轉成 SDXL 後生成的人像圖片質量總是不好,其實有一些 prompts 加上後會對畫質有大大幫助!
Stable Diffusion
Stable Diffusion 3的早期預覽終於揭開神秘面紗。這款新型文本轉圖像模型承諾在多主題提示、圖像質量和拼寫能力等方面實現顯著改進,被認為是人工智慧技術的重大飛躍。
Stable Diffusion
在 2023 年底 SDXL Turbo 才首次亮相。不足三個月一個更優秀和更迅速的 SDXL Lightning 閃電般誕生。這款創新模型能夠在短時間內生成優質圖像,提供從 1 到 8 步的選擇。再跟 LoRA 和 Unet 進行整合,SDXL Lightning 使用家能夠以閃電般的效率生成圖像。
Stable Diffusion
Stable Cascade 是一個全新的 Text to Image Model,引入了引人注目的三階段方法,為質量、靈活性、微調和效率設立了新的標準。它優先考慮消除硬件障礙,旨在提高各種指標的性能。
Stable Diffusion
在 ComfyUI 上使用 Clip Text Encode SDXL Node 時,會兩個不同的 Prompts 輸入格,一個叫 text_g 另一個叫 text_l,兩個框格輸入相同的 Prompts 也會有不同的效果,到底兩個 Prompts 之間有什麼關係,我們又應該在兩個格中輸入什麼 Prompts 會比較好呢?
Stable Diffusion
大家常常見到我用有一些文字隱藏在內的圖片做 Cover,單用 prompt 是很難做到的。所以用 Midjourney 或 DALL-E 3 也不能生成此類圖片,但 Stable Diffusion 有 ControlNet 加持,所以才能生成這種高難度的圖片,甚至生成影片!
Medium
這是我整個 2023 年在 Medium 上發佈文章的經歷及收入分享,以及我對 Medium 上增加瀏覽人數及製造收入的方法分享。
Stable Diffusion
來到 2023 年年尾, Stable Diffusion 依然有不少重要更新及 Model 推出,看來馬上就要追上 Midjounery 了!
Stable Diffusion
Stable Diffusion WebUI v1.6.0 推出後事隔多個月也沒有小更新的情況下,終於推出了 v1.7.0。本次升級沒有很大的改變,但默默地支援了更多的功能。