上一篇文章論述了官方 Unity AI Assistant 升級後除非付錢，否則不支援外置 MCP 外連其他 AI Tools，但很多開發者本身都有用 Claude Code/Codex 等產品，還要花錢來 subscribe 多一個 Unity AI 有點不舒服，而且 Unity AI 才新出來幾天，試用 14天後又怎樣呢？

所以為了保持同一 Model 的開發手感，還是找方法繼續用 Claude Code/Codex 的 AI Tools，最先想到的當然時第三方開發的 MCP。

非官方的 MCP 其實都已經很多款，以下就教大家安裝一款不錯的。

GitHub - IvanMurzak/Unity-MCP: AI Skills, MCP Tools, and CLI for Unity Engine. Full AI develop and test loop. Use cli for quick setup. Efficient token usage, advanced tools. Any C# method may be turned into a tool by a single line. Works with Claude Code, Gemini, Copilot, Cursor and any other absolutely for free.

AI Skills, MCP Tools, and CLI for Unity Engine. Full AI develop and test loop. Use cli for quick setup. Efficient token usage, advanced tools. Any C# method may be turned into a tool by a single li…

GitHubIvanMurzak

AI Game Developer

作者在官網中展示將來會支援 Unreal 及 Godot，但是暫時只支援 Unity，不過也足夠應付了。注：要支援這款 MCP 需要先安裝 Nodejs。

安裝方法

在你 Unity project 的資料夾運行以下指令：

npx unity-mcp-cli install-plugin ./MyProject

安裝後打開 Unity，Unity 會 compile 一下並認証你的 plugin。

完成後在 Unity Menu > Windows > AI Game Developer - MCP 打開 Game Developer 主介面：

在這裡你可以設定如何連接，首先可以用 AI agent 選你喜歡的 AI Agent，主流的 Claude Code, Cline, Codex, Cursor, VSCode, Gemini 都支援，即使沒有也可以手動設定。

如果選主流 Model，可以先選了上面的 MCP server Transpot 做 stdio 及 Authorization Token 做 none 。更改設定後記得按 Reconfigure 去更新設定。

然後在下面只要按一下 Skills 的 Generate 及 Model Context Protocol (MCP) 的 Configure 就會自動完成設定。

之後只要打開 Claude Code 就會自動連線到 MCP！

相信有不少人用 Unity AI MCP 來連接 Claude Code / Codex 等 AI 工具進行開發，近日隨著 Unity AI 進入公測，Unity 官方 Package com.unity.ai.assistant 亦升級到 v2.7.0-pre.2 。這個新版本的 Unity AI Assistant 在 Unity MCP Server 上加上了限制，Connected Clients limit 在 0 個 direct connection（以前是 Unlimited），就是不讓開發者使用其他 AI 工具來支援開發。

官方也有說明可以怎樣做，不意外就是 subscribe 官方的 Unity AI 來解套。

https://support.unity.com/hc/en-us/articles/48958235901460-Unity-AI-MCP-connection-fails-with-the-error-message-Status-Capacity-Limit

這種強迫用家使用 Unity 官方 AI 的方法也太過份了，雖然一些用家嘗試 downgrade 到 v2.6.0 可以用到，但是很快又變成 ApiNoLongerSupported 的狀態。所以大家見到這個情況可以放棄使用官方的 MCP 了，或許又會引起另一輪炎上。

在前陣子在決定寫 game 的期間，我試用了三大主流 Game Engine 來實作 demo，現在比較一下 Unreal，Unity 及 Godot 適合什麼開發者。

自我定位

在開始選擇前，我首先要確定自己是什麼開發者，以什麼角度去選擇 Game Engine。

• 首先我是獨立開發者，就是一個人會負責所有東西，繪圖設計，故事劇情，程式開發，宣傳銷售，後續經營，所以簡單很重要。
• 我使用 Macbook Pro M1 來開發，由於我沒有 desktop，單靠效能有限的主機來開發，所以效能夠不夠對我來說也是很重要。
• 遊戲平台，我的初期目標是 Steam/Andriod/iOS，如果有成果才會推向各大主機，雖然三大 Game Engine 都支持多平台輸出，但實際上調查後發現還是有一些限制，我會在下面解釋。
• 遊戲類型，我目標是開發一隻 Rougelike 的動作遊戲，另外使用 2D/3D 方面我花了很多時間去思考，因為都要配合遊戲內容，最後我決定用 2.5D 的 isometric 等距視角遊戲。
• Game Engine 授權費用，自從 Unity 更改授權收費條款後，大家都份外關注授權收費，畢竟是以賺錢為目標。
• 以 AI 支援遊戲開發也是我開始開發遊戲的原因，所以我也會説一下 AI 對此遊戲 Engine 的支援程度。

其實現在三個 Game Engine 都已經相當人性化各自都有 Project Management 的 UI，然後進入都有 3D editor 可以直接處理 3D model 及 code editor 直接寫 code， 你也可以用 vscode 等 IDE 修改。

當然每個 Engine 也有其特點 ，先説一下 Unreal Engine。

Unreal Engine

Unreal 可以説是一個很有歷史的 3D game engine，使用的程式語言是 C++，早在 1996 年就推出，現時最新版本為 Unreal 5.6。在三個 Game Engine 中畫質上限最高，現今很多 3A 大作也是用 Unreal Engine，因為其強大的影像效果也必須高階電腦或最新世代主機才能完全重現。其 blueprint 功能強大能讓開發者更輕鬆進行開發，如果在 Epic store 上進行銷售還可以獲得更多授權減免。

但是能力越大代價也越大，作為獨立開發者來説 Unreal 的高畫質及華麗的效果就是要有高精細度的建模，也要花很多時間進行開發，我用 Macbook 開啟 Unreal Editor 後只是建立一個簡單場景進行 preview 都有卡頓感，還沒有複雜圖像或架構下已經有這種情況，令我覺得很大問題。

Unreal 對開發 3D 遊戲開發支援當然最好，但也有 Octopath Traveler (八方旅人) 這類偽 2D 及 Paper 2D 來做 2D 遊戲開發，但相比 Godot 有專門的 2D 引擎，Unreal 對我這個獨立開發者來說就有點大材小用。

能力越大責任最大？

Unreal 這麼強大的 Game Engine 當然不是免費的，如果在 Epic Store 首發遊戲的話，就可以享有 3.5% 的版稅優惠，如果不是就要交 5% 版稅！另外如果在 Epic Store 首半年獨佔遊戲的話，首 100萬美金的收入會全歸開發者！

另一方面 Unreal AI 支援我覺得相對比較高，Unreal 也有不同 MCP 連接 AI tools，雖然都是開發中，但已經支援不同的 API，其中 chongdashu/unreal-mcp 更支援 Cursor/Windsurf/Claude，更加支援 Blueprint development 可說是相當方便。

GitHub - chongdashu/unreal-mcp: Enable AI assistant clients like Cursor, Windsurf and Claude Desktop to control Unreal Engine through natural language using the Model Context Protocol (MCP).

Enable AI assistant clients like Cursor, Windsurf and Claude Desktop to control Unreal Engine through natural language using the Model Context Protocol (MCP). - chongdashu/unreal-mcp

GitHubchongdashu

GitHub - kvick-games/UnrealMCP: MCP to allow AI agents to control Unreal

MCP to allow AI agents to control Unreal. Contribute to kvick-games/UnrealMCP development by creating an account on GitHub.

GitHubkvick-games

由於 support blueprint 的關係，所以對 AI 的支援程度可說是三個 Game Engine 中最好，AI 能夠直接操控很多設定，相比 Unity 及 Godot 能操作更全面，所以對此我有很高評價。

但最終因為開發性能問題及其複雜性令我不能使用 Unreal 作首選，但如果有一天我跟其他開發者合作一起開發高質量的遊戲時，一定會考慮 Unreal 作為 Game Engine。

Unity

然後就是最多人使用的 Unity 了，Unity 一開始是以開發手機遊戲為主，後來逐漸支援多平台，很快就稱霸了手機平台。其友善的操作界面，多平台的支援性，到後來不斷改良的畫質及功能，逐漸超越 Unreal 成為最多開發者使用的 Game Engine。雖然 Unity 聲稱支援多種程式語言，但是想要使用所有功能及支援所有平台還是使用 C# 是最好的選擇。

雖然頂級畫質還是輸 Unreal，但對獨立開發者來說，頂級畫質是不需要的，很久以前已經支持多平台及其簡易的操作反而更受獨立開發者歡迎。始終對獨立開發者量力而為也很重要。很多簡約風格的遊戲都會使用 Unity 都是因為更輕量級及更易使用。

手機遊戲最常用的 Engine

相信大家都玩過不少手機遊戲是用 Unity，其中一個原因就是 Uniy 有完美的 Android/iOS 平台輸出功能，即使 console e.g. Playstation / Xbox / Switch 都能輕易支援，更不用說電腦平台 Windows / Mac。所以能夠做到開發一次就支援所有平台，令開發者產下不少功夫。也因為多人使用的關係，相關的資源影片教學也是 Game Engine 中最多最成熟的。

抽成最強的遊戲引擎

個人開發者除了營收分成 2.5% 外，還有最厲害的 Runtime Fee！就是如果首年收入超過 20萬美元或安裝超過 20萬次也需要額外付費，其中照安裝次數來收費一事令很多用 Unity 開發免費遊戲的開發者來說是一大惡夢。如果你以賺公為目標，Unity 可能是開發者的一大支出。

當然係超過 20萬美金收入後你可以升級做 Unity Pro 來支付 USD $2310 年費。但 Unity 多次變動收費政策也令不少開發者感到為難，改投其他 Game Engine 懷抱。

Godot

三大 Game Engine 中，唯一的 Open Source 軟件，不單免費下載使用，還能免除任何版稅，就是你賺多少錢都不用分如 Godot。Godot 原身也是一個商業引擎，但是在很多原因下將 Godot 變成開源並成立基金接受捐款，慢慢發展成日今時的樣子。Godot 原本使用其專用的 GDScript 為開發語言，後來獲 Microsoft 捐款後新增對 C# 的支援，也成為了日後 Unity 開發者另一個選擇。

Unity 版稅事件的受益者

在 Unity 版稅事件後，很多開發者都留意到 Game Engine 對其收入的影響，有不少開發者因此轉到 Godot 陣營中，也有公司即時捐錢如 Godot 並使用 Godot 作為取代 Unity 的 Game Engine。

在 Unity 版稅事件後， Godot 的發展及使用度都直線上升，近幾版更新後更明顯，有不少爆紅的獨立遊戲使用 Godot 也使更多開發者慕名而來。

對 Console 無法支援

Godot 因為開源的身份，所以不能將主機平台的程式碼納入開源程式庫中，因為這個身份的影響，所以需要輸出到主機平台就一定要經第三方公司處理，如果對開發主機遊戲有要求的開發者要注意了！

之前曾經教大家在 Local 運行一些 LLM 用以 offline 取代 ChatGPT，但有不少人還是覺得 ChatGPT 最好，非 ChatGPT 不可，也覺得其他 LLM 沒 ChatGPT 好用。今次 OpenAI 正好 open source 了一個全新的 LLM - gpt-oss。

gpt-oss 可以在本地部署，也不用 VPN 及 連線，也不用 OpenAI account，完完全全的免費任用 ChatGPT！

最最最簡單的方式就是使用 Ollama 安裝，Ollama 更新後變得超簡單，由我簡單介紹一下安裝方法。

安裝 Ollama

1. 下載 MacOS/Windows/Linux 版本的 Ollama。
2. 下載後直接打開 Ollama 界面。

Download Ollama on macOS

Download Ollama for macOS

3. 選擇 Model，普通電腦建議 gpt-oss:20b。

4. 在對話框隨意輸入一些文字，然後就會自動下載 Model。

5. 可以開始對話！

效能比較

那麼 gpt-oss 的效能跟現有 ChatGPT 比較如何呢？

大家可以當作使用 gpt-oss:120b 版本的話效能跟 ChatGPT 04-mini 差不多，gpt-oss:20b 會弱一點，但是我使用 Macbook Pro M1 也能輕鬆運行，官方也建議有 16GB ram 足以運行 20b，如果要順暢運行 120b 版本最好就有 64GB ram 了。

我由英國一開始住在 Bristol 時還沒有太注意垃圾收集的日子，然後在搬屋後就發現，為什麼不同 Councils 需要到不同的網站查看收集垃圾的日子？原來每個 Councils 都會自己決定收集垃圾的日子及僱用公司來處理垃圾，所以也各自建立了網站來提供資訊，結果就是沒有一個 App 可以統一查詢這個資訊。

為什麼要開始做這程式？

沒想到在英國會找到一樣大家每天都在用但是沒人做的東西，身為 creative developer 的我當然會找找看這個 idea 有沒有辦法可以做到。首先大部份查詢垃圾回收日的網站都是先用 Postcode 查詢同一條街道的地址，再由這些地址中選擇你所住的物業，然後就會出現垃圾回收日的資訊。

設計理念

如果我要設計一個 App/WebApp，就是只需用 Postcode 就可以找到垃圾回收日的資訊，不可以比這個操作更複雜，否則就沒人用了，然後 App 版本可以儲存及推送提醒這些功能不能少，其他東西就以簡約為主，不做多餘的東西。

首要難題 - 資源來源

但是我要怎麼取得這些資料呢？經一輪研究後發現垃圾回收資訊好像不是英國 open data 的一部份，各地的資料也不統一，也沒有官方途徑取得資料，幾百個 Councils 各自有一套做法，似乎相當麻煩！

然後我發現了這個 repository - UKBinCollectionData。

GitHub - robbrad/UKBinCollectionData: UK Council Bin Collection Data Parser Outputting Bin Data as a JSON

UK Council Bin Collection Data Parser Outputting Bin Data as a JSON - robbrad/UKBinCollectionData

GitHubrobbrad

一個由一群 developer 集合而成的 open source 英國垃圾收集資料，不就是我想找的東西，如果直接可用的話，只要寫個 Frontend 就可以！但是這麼簡單的話怎會沒人做呢？

怎樣都好，話個 repository 都是我整個程式的根基，必須好好研究一下，同時也因為發現了這個 reposirtory，一切都變得好像可行，所以我也決心開始研發這個 垃圾 APP （暫定）。

分析資料

簡單分析 UKBinCollectionData 後，發現入面有一個 docker compose 似乎能簡單地架起一個 API Server，連 API Server 也準備好太貼心了，馬上就架起來測試一下，Backend 似乎用 connexion 建立了一個簡單的 API，也有 Swagger 可以查看文件。

一試之下驚呆了我！為什麼要填這麼多資料？

不是只需 PostCode 就可以的嗎？還要 Council？什麼 URL？Postcode 竟然不是必須的？UPRN 是什麼？需要太多資料了吧？我還是詳細看一下 Github 上的說明，再找找看這些需要填的東西是什麼？

1. Council 就是 Council 名稱，但也有指定的寫法，e.g. Bristol 叫 City of Bristol，寫法是 BristolCityCouncil 。
2. URL 就是垃圾收集資料網站的網址，為什麼要這個？我一會會再說。
3. Postcode 就當然是 Postcode。
4. UPRN 是 Unique Property Reference Number，英國的唯一物業參考編號，英國每項物業都有一個組絕不重複的獨立編號，除了房屋，車位，燈柱，郵箱也會有個別編號。
5. House Number 門牌號碼，雖說是門牌，但有部份地區也要寫全個地址。
6. USRN 就是 Unique Property Reference Number，街道唯一參考編號，跟 URPN一樣的東西，但是是街道用的，因為英國很多街道也是相同名稱。
7. SkipGetURL 部份 Council 需要這個設定，要填的就是 Boolean，但其實 false 的這可以不填。
8. WebDriver 這是 Selenium 的位置，就是用作 scraper 之用的軟件。

​看到這裡會想還要用 scraper？這東西不是資料庫嗎？

原來這東西是 "對每個 Council 垃圾收集網站個別訂製的 Scraper 集合"，就是有很多人寫了幾百個 Scraper 去即時抓官方網站上的垃圾資訊。

難怪會有一個地圖去顯示成功通過測試的地區地圖，綠色是成功通過測試的地區，比較上還是很高的，黃色是部份通過，紅色是測試失敗。

單從顏色比較上看，綠色也有 80%以上的地區支援，以沒有資料的我來說也是很多的了。

測試一下 API Server

在 UKBinCollectionData 的 Wiki 內 Council 分頁中可以找到每一個 Council 所需的資料，然後發現事情並不單純，因為我所需要得不只是 PostCode，大部份地區也需要 UPRN，UKBinCollectionData 也有教，單搜尋一兩個 UPRN 並不難，有不少網站可以免費搜尋找到。

在有 PostCode + UPRN＋House Number 等資料齊備後，就可以進行搜尋。但是嘗試了很多地址也不成功，試到我懷疑人生，後來發現 UKBinCollectionData 其實有一個 自動化測試網站，可以比較易找到那個 Council 成功通過測試會較易成功。

這是上面的 Response，應該是 Scraper 由回應結果的 html 中抽取出來，所以還需要另外進行分析，結果相當不友善。相信要有更多優化才能成功，過程應該相當複雜。

"{\n    \"bins\": [\n        {\n            \"type\": \"Food waste\",\n            \"collectionDate\": \"22/07/2025\"\n        },\n        {\n            \"type\": \"Recycling\",\n            \"collectionDate\": \"22/07/2025\"\n        },\n        {\n            \"type\": \"Rubbish\",\n            \"collectionDate\": \"22/07/2025\"\n        },\n        {\n            \"type\": \"Garden waste\",\n            \"collectionDate\": \"22/07/2025\"\n        },\n        {\n            \"type\": \"Small electrical items\",\n            \"collectionDate\": \"22/07/2025\"\n        },\n        {\n            \"type\": \"Food waste\",\n            \"collectionDate\": \"29/07/2025\"\n        },\n        {\n            \"type\": \"Recycling\",\n            \"collectionDate\": \"29/07/2025\"\n        },\n        {\n            \"type\": \"Rubbish\",\n            \"collectionDate\": \"29/07/2025\"\n        },\n        {\n            \"type\": \"Garden waste\",\n            \"collectionDate\": \"29/07/2025\"\n        },\n        {\n            \"type\": \"Small electrical items\",\n            \"collectionDate\": \"29/07/2025\"\n        }\n    ]\n}"

結論

總括而言，UKBinCollectionData 這個 Library 是我這個 Project 成功及否的關鍵，但是跟我理想中只需 Postcode 就可以完成搜尋相差太多，下一回我就會研究怎麼補完這些資料來完成我的 "垃圾App"。

最近大家都很喜歡說 vibe coding，就是不用親手去打程式碼，一切寫程式都交由 AI 處理，將你的靈感想法實現。然後見到不少 developer 分享 MCP server 的威力， developer 是否已經世界末日？

引起 Vibe Coding 爆紅的遊戲

外國有 Developer 用 AI 花將小時寫了隻飛機遊戲因此爆紅，也成為了 vibe coding 的始祖，當然在寫了遊戲出來後他也花了一些時間去再行修改及推廣，不過引起了 Elon Musk 注意及大讚才是他爆紅的主因。

然後我也見到了這新聞，停止了沒什麼進展的圖片生成研究，投入 AI 寫遊戲的研究當中，花了好幾個月還沒有遊戲出來（笑），就寫下這篇文章先作為初步研究結果發表，以証明我還是有努力學習 AI 哦！

早期的 Vibe Code

最早期的 Vibe Code 除了使用 Code Copilot 外，都需要做搬運工，就是問 ChatGPT 一句，他給你一段程式碼，再人手 copy 到適當位置，一切都很花時間，而且沒有 context 之下 ChatGPT 也不能準確判斷你的修改，修改的 reference 多數是由 Github 找回來的文件或答案，只能做到一個文件內可以處理的事情。

Code Copilot

最早跟 VS Code 合而為一的 AI Tools，早期做到的跟 intellisense 差不多的東西，就是強化版，本來 intellisense 是提示一句半句的 function / api 之類，變成可以由你的 function name 去猜你想做什麼，如你一整個 function，雖然不一定是對的，但也有很多情況下節省了你寫整個 function 的時間。

Cursor

最早備受觸目的 AI Code Editor，的確是有很多人由 Cursor 開始發現了可以 vibe coding，因為他將整個 AI Agent 融合到 Code Editor 中，大家既不用做搬運工，也不受 VS Code 限制只能用 Code Copilot，而且不再問一樣東西改一樣，而是會幫你安裝 package，建立文件，寫程式做測試。所有步驟都會告訴你等你批准再進行修改，不就是開發流程中的 Codeing，Testing，Review。不過你變成只需要 review 批准修改就可以。

Windsurf

另一個跟 Cursor 差不多時間推出的 AI Editor，雖然沒 Cursor 般爆紅，但普遍認為比 Cursor 更好的 AI Editor，也成為了 Open AI 希望收購的對像。因為 Windsurf 有更強的上下文處理能力，不像 Cursor 你要指明在什麼資料夾/文件工作，最重要的是收費比 Cursor 便宜！

VS Code

其實有用過 Cursor 跟 Windsurf 的人都會發現，他們跟 VS Code 長得一模一樣。沒錯，他們就是使用了開源的 VS Code 來做 Editor 加上 AI 功能，所以 VS Code 很快就跟進了 AI 功能，讓 VS Code 右邊顯示 Code Copilot （背後是 ChatGPT）的對答視窗，後來更強化成 AI Agent 可以代理使用者修改生成檔案。雖然暫時還比不上 Cursor/Windsurf，但是 VS Code 每日也有免費限額可以使用（而且數量不少），而且以 MicroSoft 的資源要追近也不是不可能的事。

MCP Server (Model Context Protocol)

由於 Cursor 要運作就必須花錢做會員，但有很多人已經花錢在 subscribe 其他 AI，同時 subscribe 幾個不同的 AI 的開支也不少，特別是花了錢又不能轉化成收入的時候。有開發者為 Claude Desktop 開發了 MCP 連接 Blender 或 Unity 等軟件，令 AI Agent 進一步擴展到軟件層面，除了寫 Code 外也能控制其他軟件工作。

而 MCP Server 的出現某程度上令你可以在不同的地方也使用同一個 AI 的 API 去進行，在某些情況下更可以使用免費的 LLM e.g. Gemma/Llama/DeepSeek 來運作，雖然還未非常普及，但此做法大大減低運作了成本。

Vibe Coding 比較

我的目標是 vibe coding 寫 Game，先看簡單比較一下，我會再詳細說明寫 Game 是遇到的問題。

ChatGPT

最開始時我是用 ChatGPT 生成 code 給我寫隻 web game，從一開始討論要寫遊戲的方向，遊戲的設計及玩法，ChatGPT 建議了我用 Phaser 作為遊戲引擎。然後開始實現階段就要我自己去先設置一個 project，安裝 package 及 copy & paste code ，搬運工作當然累人，經常要重提我在使用什麼版本的 package，否則常常會給我版本不對的內容。除錯的過程他總是給同一個 error message 給同一個答案，我說他的修改沒用，過一段時間就好像忘了之前給我的 code，重重複複幾十次也不能完成，最後我轉去 Cursor 試試看。

Cursor

Cursor 一開始接收 ChatGPT 的爛攤子也搞不定，我果斷 delete 了整個 project 重新來一次，同時把之前說給 ChatGPT 的重點都 copy 給 Cursor。Cursor 好像一個急著開始寫 code 的 developer，不會跟 ChatGPT 跟你討論一下就馬上開始 coding。

在首輪開始是很美好，一次過就成形，馬上到能玩的程度，但當我不斷新增功能及遊戲內容時問題就浮現，Cursor 不會主動將內容分拆成不同檔案，除非你一開始先說明了檔案架構，如果我是不會 coding 的人說不會自己分析架構吧。然後功能都在同一個檔案時，他修改 A 功能是也會改一下 B 功能，大家都知 development 的原則是 『沒事的程式就別碰』，Cursor 總是愛亂碰！

如果你把功能分到不同檔案後，他又要你指定那些文件有關連，否則又會忘了。由於我沒有做 version control，結果在他亂改的情況下，能玩的遊戲也變成不能玩，只能怪我太多要求了。

Windsurf

在 Cursor 搞不好的情況下，我再將爛攤子交給 Windsurf，Windsurf 不用我再半人手指定檔案 debug，將遊戲修到能動的樣子，但我已經完全放棄使用 Phaser，原因是我本來以為是輕輕鬆鬆的事，搞得比我自己寫還累，而且 Phaser 也太不方便開發，這時我發現了 Unity MCP。

Unity MCP

經過同 ChatGPT 討論後，還是確實地使用遊戲引擎來開發遊戲比較實在，所以轉為用極多遊戲使用的 Unity 6 作為開發平台，還順道跟 ChatGPT 一起構思了更完整的遊戲設定作為日後使用。

由於 Uniy MCP 需要安裝很多東西，也花了我不少時間，總之最終也成功安裝 Claude Desktop 及 Unity MCP，也學別人一樣給 Claude 一些指令去控制 Unity，但事情沒這麼簡單...

我發現的是 Unity MCP 能控制的事情不多，生成一些幾何圖形，定義那些圖形的顏色大小，加一點 code 到那些圖形上，因為幾何圖形都是很粗糙，出來的質量可能會比你廣告見到的遊戲還要糟。

有些位置還是需要你手動在 Unity Editor 上修改設定，我這個還沒有用過 Unity 的人花半天才找到那些小按鈕在那兒！令原本方便 developer 的工具變成一種障礙，就是你本身要熟悉 Unity 的用法才能使用。而且 Unity MCP 的 function 也是有限，就是能做到一些工作，特別是重複性的工作會做的比較好，但是你用語言形容得不夠清楚的事就很難做得好，如果想準確下達指令，你必須知道 Unity 的專有名詞。

由於每次修改也會自動測試及 debug，而每次也要回傳大量設定資訊回 Claude，所以 token 消耗量極大，我第一天只用一個指令自動來來回回 debug 幾十次就耗光了 Claude 3.7 的 token，所以一定要訂閱 Claude 才能正常使用。

總結

總結一下我的心得就是，Vibe Coding 還是只能在些個人小 project 中或 prototype 中使用比較好，因為他一次性的 coding 能力還是有的，Web/Html 方面由於 source 比較多所以效果會比較好，但一定要跟你的 AI 提及使用 package 的版本。

在一些情況下 AI 的 coding 能力會比較弱：

1. 使用 package 的版本太新，新版本同時有重大更新但沒有太多教學，會令 AI 經常使用舊版本的方式來 coding。
2. 使用的 package 太冷門，AI 對一些冷門 package 不太熟悉，甚至把 Github link send 給他他也不會用，只有熱門而且多人討論的 package 才能運用的好。
3. Project 太大，如果 project 太多檔案，AI 很多時不能兼及所有文件，context 的讀取也是有限度的，所以只能在小 project 中使用。

追加

剛剛試了 Grok Studio，我就直接在 Grok 說了一句 我想要寫一隻遊戲，他就馬上用 html 寫了一隻 web game 並即時在右邊 preview 可以試玩，整個過程就一句說語及數十秒，可以說是最佳 vibe coding 體驗，難怪 Elon Musk 會說 AI 遊戲是未來。

近幾年 AI 發展蓬勃，每個月都有大量新 AI 工具推出，每幾個月就有一次大革新，很多人都預言 AI 會取代人類工作，但是 AI 會怎樣取代人類的工作呢？人類會否因此失業？

AI 真的會取代你的工作嗎？

大家心目中的 AI 總是一個機械人的樣子，當然現時也有很多公司已經開發機械人，然後這個機械人坐在你原本的位置取代了你的工作。

這種事情會發生嗎？

簡單直接地說就是短時間內不會發生，AI 可以取代人的唯一原因是，使用 AI 更便宜。你認為買一個機械人要多少錢，還要訂閱 AI 服務才會聽的懂你的指令，還有機械人壞了要維修，還有很多機械人未能支援的工作，可能每幾年又要花錢升級機械人。

對老闆來說花這麼多錢買個不肯定能完成工作的機械人來取代人工作太不化算了，大概會有些公司會花錢買幾隻玩玩，但用來取代便宜得多的人手是不現實的。

那麼 ChatGPT 會取代我的工作岡位嗎？

相信有部門功能性極底的工作可以由 ChatGPT 取代，但是不會是全部，而且取代的方式也不會是你的工作岡位消失變成由 ChatGPT 工作。

舉一個例子，一間公司有設計師，程式員，會計，秘書，文員等等職位，文員的工作最簡單，薪金也不及設計師 / 程式員 / 會計 / 秘書。但在 AI 工具如 ChatGPT 加持下，文員可以用 AI 工具做到了會計整理帳單的工作，秘書處理日程的工作，設計師設計的工作，程式員寫應用程式設立網站的工作。

那麼老闆可能用兩三個文員就可以處理所有員工的工作了。結果就是由會用 AI 的文員去取代其他專門的工作，簡化了專業的工作，變成可以由其他人兼任，將會是未來真正 AI 取代工作的結果。

當然還有 AI 不能取代的特別工作，這樣的位置每間公司也可能不同，看看公司的核心業務是什麼吧。例如網絡公司總不能把整個網絡系統交給文員處理，總會有能兼顧全局的人去保證一切運作，就看看你將會是兼顧全局的管理人員，還是那個會用 AI 的文員了。

最終中層空有經驗但又不能兼顧全局的人，如果連 AI 也學不會用，就很容易變成被取代的一群。

要怎樣做才能變成不被取代的人？

就像現代職場，會用電腦，會用 Word，會用 Excel 這些基礎條件，未來就會變成必須會用不同的 AI tools 才能生存，現在大部分人還是只會用 ChatGPT，但是常用 AI 的人早已將不同的工作交由不同的 AI 處理，以達至最高效率及最好的成果，還有試用每天推出日新月異的 AI 工具，過期中會學到很多 AI 知識，了解不同 AI 的差別，個別 AI 的運用技巧。

在公司考慮將 AI 帶入業務的時候，你可以瞬間分析應該使用那一個 AI 那一個技術以至那一個 model，一切的知識會令你最終會變成留下來的人。

由於早前出 Trip 時遇上沒網路就沒 ChatGPT 用的困境，雖然有手機網路但酒店網路不穩定也不一定可以穩定連線。所以就再找 Ollama 找出來看看現在可以使用什麼新 Model 可以在本機不用網路的情況下使用 LLM 工作。

之前也有介紹跟 Stable Diffusion 一起使用 Ollama，作為在本機運行 LLM (Large Language Model) 的工具其實 Ollama 也可以個別運作。同時因為是 Open source 的原故，所以可以實現免費無限量使用！

今次的會教大家使用更簡單的方法本地安裝 LLM 同時有繁體中文的 WebUI 可以使用，此方法同時支援 Windows / Mac / Linux。

首先要安裝 Docker Desktop

最簡單又不需要用 Python 的軟件的方法就是用 Docker，安裝 Docker Desktop 是最簡單的 Docker 安裝方法，如果不太會用 Docker 就可以安裝 Docker Desktop。支援 Windows / Mac / Linux。

Get Docker

Download and install Docker on the platform of your choice, including Mac, Linux, or Windows.

Docker Documentation

安裝 Open WebUI

安裝 Docker Desktop 後，按 Docker Desktop 右下角 Terminal 打開介面，copy 適用於你電腦的 command

如果你的電腦支援 Nvidia GPU，就是有在用先進的 Nvidia 顯示卡，就用這個指令：

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

如果你是用 Mac 或者沒有 Nvidia GPU 或者你都不知道，就用這個指令

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

分別在於是否使用 Nvidia GPU 加速，使用了會快一點就是。

輸入指令後會自動下載安裝 Open WebUI 及 Ollama，成功後會自動啟動 container。

此時打開 http://localhost:3000 就可以見到你的 Open Webui 畫面。

按 Get started 去到建立帳號畫面，這個帳號只會儲存在你本機 Docker 內，不是任何網站或服務的帳號，你也可以在家或公司自設 server，這樣就可以給不同的用家一起使用。

進入會見到一個很像 ChatGPT 的介面，就是 Open WebUI 了。

轉成中文介面

為習慣中文用家，大家可以先到左下角按一按自己的名字打開 Setting 頁面 General 內見到 Language，改成繁體中文就可以轉成中文介面了

LLM 介紹

然後你可以上 Ollama 網站選一兩個合適的 LLM，推薦幾個熱門的 Model：

• Llama 3.3 - Meta 開源的 LLM，晚點可能還會有 Llama 4 。
• Deepseek R1 - 中國團隊蒸餾 ChatGPT 而成的 LLM，聽說有著 ChatGPT 7成的效能，對中文的理解能力比 Llama 好。
• Gemma 3 - 由 Google 開源，就是單核版的 Gemini，只需一粒 GPU 足以運行並同時有強勁的效能，對中文的支援也很好。

以下是 Google 提供的分數比較圖：

雖然 Gemma 3 跑分輸 DeepSeek R1，但相對所需的 GPU 就只需一粒，效能消耗更低，更適合本地部署做用。

下載 LLM

選好了想要的 LLM 後在 Open WebUI 也提供直接下載的方法，只要記住你想要的 Model 名。

如果想安裝指定版本的 model 也可以，部分 model 會有不同 B 的版本，好像 Gemma 3 就有 1B/4B/12B/27B，那個 B 是指有多少個 billion 的參數，參數越大，理解力及生成力就越強，當然所需的資源也會比較多，大家可以自己選擇合適的 Model 下載。

在設定 (Setting) 內打開管理員設定 (Admin Setting)，在模式 (Model) 分頁中什麼也沒有，因為我們還沒有下載任何 Model，按一下右上角的下載按鈕打開管理模式，就會見到以下介面。

在從 Ollama.com 下載模式輸入你想要的 Model 名，例如我要下載 Gemma 3 的 27B 版本，在 Ollama 找到了 gemma3:27b，這個標籤再按右邊的下載按鈕就會開始下載，由於一般 LLM 容量都不少，要花一點時間來下載。

不想要的 Model 也可以在下面選擇刪除掉，以免花費太多空間。

如果想用一些非 Ollama 的模型也可以打開最下面實驗性功能自行上載到 Open WebUI 中使用。

下載完成後關掉管理頁面，在左上角選擇你的 Model 就可以開始對話

預設使用繁體中文回應

有時你沒有提醒，或者你只說了英文字，Model 就會忘了用繁體中文回應，其實可以預設繁體中文回應的。

在設定可以見到 系統提示詞，這個系統提示詞會在每次對話時都讓 Model 記住，我就加上一句使用 繁體中文回應 再 Hi 一下看看會怎樣。

你也可以預設一些身份或語氣給 Model，以配合你的使用需要。

為什麼會有 Error？

相信有部份人在發送訊息後會見到紅色的 Error 框框，是設定錯誤了嗎？

如果你可以見到 Open WebUI 介面，應該沒有什麼設定錯誤了，但是這個情況多半是你電腦效能不足，畢竟 gemma3:27b 也是一個巨大的模型。你有兩個選擇可以做的：

如果你電腦是用 Nvidia GPU 的話就安裝 Nvidia GPU 版本，效能會有顯著起升，也可以在 Docker Desktop 設定更多的記憶體，預設給 Docker 的記憶體應該有 8GB 左右，最少要改到比你的 Model 多，Swap 也可以增加一點。

如果沒有 GPU 記憶體也不多，選用較少的 Model 是比較輕鬆的選擇，畢竟不是每人也有超級電腦可以用嘛。

在 Stability AI 出走成員組成，融資後成立的新實驗室 Black Forest Labs。近日推出的 FLUX Model 或許就是當初大家期望 SD3 應有的樣子，在版權及內容限制下 SD3 變成了一個笑話。

什麼是 FLUX？

FLUX 是由 Black Forest Labs 推出的強大圖片生成 Model，其威力遠比現有的任何 Stable Diffusion Model 強大，甚至比 Midjourney 有過之而無不及。生成真實圖片好比真人相片，生成文字及手指也毫無難度，唯一要面對的問題相信就是效能的需求極高，電腦弱一點也運行不到 FLUX Model。

免費試玩 FLUX

在網上也有不少可以試玩 FLUX 的平台，官方提供連結的有以下網站：

FLUX.1 [pro]

black-forest-labs/flux-pro – Replicate

State-of-the-art image generation with top of the line prompt following, visual quality, image detail and output diversity.

Run with an API

FLUX.1 [pro] | AI Playground | fal.ai

The pro version of FLUX.1, served in partnership with BFL

fal.ai

Mystic.ai

Enterprise-grade auto-ops for machine learning

Mystic.ai

FLUX.1 [dev]

black-forest-labs/FLUX-1-dev - Demo - DeepInfra

FLUX.1 [dev] is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. . Try out API on the Web

DeepInfra

Mystic.ai

Enterprise-grade auto-ops for machine learning

Mystic.ai

FLUX.1 [schnell]

Mystic.ai

Enterprise-grade auto-ops for machine learning

Mystic.ai

FLUX.1 版本分別

FLUX.1 [pro]

是最強大的 FLUX 版本，暫時只能在 Black Forest Labs 的 API 中使用，而 Flux.1 [pro] API 的價錢如下：

cost = 0.05$ x (width / 1024) x (height / 1024) x (steps / 50)

以闊 1024 x 高1024 x 步數 50 的標準下 $0.05 一張，當你要更大/更多步數的圖片時費用會相對提高。

FLUX.1 [dev]

由 FLUX.1 [pro] 中精鍊出來的版本，跟 FLUX.1 [pro] 有相似的畫質但擁有更快的速度，適合用於非商業用途。也是現時可以下載到最強版本的 FLUX，我也建議使用這個 FLUX 來生成圖片。

HuggingFace 下載點

FLUX.1 [schnell]

跟 FLUX.1 [dev] 相似，但擁有更快的速度及效能，可以在 apache 2.0 版本下再開發及發報，適合 Model 開發者進行二次開發及個人化微調使用。此版本有如 Stable Diffusion 的 Turbo 版本，可以以 1 ~ 4 步生成圖片，如果主機效能不足都可以使用此版本節省時間。

HuggingFace 下載點

在 ComfyUI 中運行 FLUX

由於都是 Diffusion Model，所以使用 ComfyUI 一樣可以支援。由於我是用 Macbook 的關係，對 Unet 的支援度比較差，令我試好久也不能成功用 FLUX 生成圖片，而且每次所花的時間也很長。幸好最後都成功使用 FLUX.1 [dev] 生成圖片。

Workflow 下載點

MacOS 如何才能運行 FLUX?

在我的 MacBook Pro M1 32GB 的效能下，需要大概 4 分鐘去生成一張 25 步 1280 x 720 的圖片。

• Model 我是使用 lllyasciel 大大的 flux1-dev-fp8 版本以節省效能。

flux1-dev-fp8.safetensors · lllyasviel/flux1_dev at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

• Clip 1 是使用 t5xxl_fp8_e4m3fn ，這個比 fp16 更好。
• Clip 2 是使用 clip_l 。

comfyanonymous/flux_text_encoders at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

• Vae 是使用官方的 vae。

black-forest-labs/FLUX.1-dev at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

把所有檔案都下載好，放到相應的 folder 就可以運行！

文字生成效果非常好，即使跟主體重疊也會好好遮住，畫面的精細度也很高，整體效果可謂超越了 Midjounery， Black Forest Labs 的實力非同小可，相信取代 Stable Diffusion 也是指日可待！

這一款全新的 ControlNet Model 支援 Automatic1111 及 ComfyUI，可以比起一般 Canny 及 LineArt Model 更準確地描繪線條，即使是極精細的圖案及畫面一樣照樣可以控制，是 SDXL 中少有的優質 ControlNet。

什麼是 MistoLine ?

由 TheMisto.ai 團隊所開發，一個基於 SDXL 訓練而成的 ControlNet Model，主要用於控制線條，其特點就是其控制線條的精度極高，比其他 SDXL 的 Canny 或 LineArt Model 更仔細地抽取出圖片中每一條線，因此也能控制生成高精度的圖片。

GitHub - TheMistoAI/MistoLine: A Versatile and Robust SDXL-ControlNet Model for Adaptable Line Art Conditioning

A Versatile and Robust SDXL-ControlNet Model for Adaptable Line Art Conditioning - TheMistoAI/MistoLine

GitHubTheMistoAI

TheMistoLine 團隊使用了創新的演算法 Anyline 來訓練基於 SDXL 的 ControlNet，令此 Model 擁力強勁的效能，特別在複雜的場景更能中展現細節。

在一些官方提供的圖片中也不難發現無論多複雜的場景 MistoLine 都能輕鬆駕馭，生成高精度的圖片。

使用 3D Model 的 screenshot 也能輕鬆生成一模一樣的圖片，比起慢慢設定 3D 素材及場景再渲染圖片，使用 MistoLine 控制生成圖片更快更高效，使用 SDXL Model 也比一般 SD1.5 的成像更高像素。

ComfyUI 中使用 MistoLine

MistoLine 完美地支援在 ComfyUI 中使用，首先可以下載 MistoLine 官方的 workflow 。

安裝 Anyline 時可能出現的問題

在載入這個 workflow 後，使用 ComfyUI Manager 自動安裝 ComfyUI-Anyline 這個 node 時可能會出現錯誤。如果出現錯誤請先安裝 comfyui_controlnet_aux ，在 ComfyUI/custom_nodes 目錄中輸入以下指令下載 node。

git clone https://github.com/Fannovel16/comfyui_controlnet_aux/

然後再用 ComfyUI Manager 安裝 ComfyUI-Anyline 即可成功安裝。

隨便網上找一張草圖來測試一下，除了沒有使用 VAE 外，基本上也沒有大改動官方設置，輕易就生成了跟草圖差不多的圖片，大家可以根據需要微調設定。

做用白色的 3D Model 截圖也能生成仔細及合符陰影的圖片，連倒影也一拼生成。

官方也有列出很多不同 ControlNet Model 的比較例子，可以看到 MistoLine 即使在不同的構圖中總是得出不錯的效果。

Automatic1111 WebUI 中使用 MistoLine

Automatic1111 WebUI 當然地支援 MistoLine，在 ControlNet 中不用特別設定，只要選 MistoLine 做 Model 就可以輕易地生成圖片。

總結

在 ControlNet 效果比較差的 SDXL Model 中，MistoLine 有如救星般出現，希望之後可以有更多不同的 SDXL ControlNet 推出！

大家應該在不少 C 站的作品中見到 score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up ，這種意義不明，複製了又好像沒有什麼作用的 prompts，到底這些 score 有什麼作用？讓我們深入探討一下。

用這些 prompts 的 Model 是什麼？

如果依照 prompts 的 Checkpoint Model 追查下去，就會發現都是基於一個 Model 分類為 Pony，就是 My Little Pony 那個 Pony，為什麼要有一種叫 Pony 的 Checkpoint Model 呢？是因為站長很喜歡 My Little Pony 嗎？

什麼是 Pony Diffusion？

一切基於 Pony Diffusion 這個 Model，就是一個 My Little Pony 愛好者，用很多 Pony 作為 Dataset 來訓練的 Model 吧？那麼這個 Model 有什麼特別，需要開一個分類來區分呢？

這是一個動畫風的 Model，也有一些人 fine tune 成寫實風格或 2.5D 風格，但基礎 Model 都是動畫風的。這個 Model 的作者實現了一個創新的評級方法，就是 score。

Pony Diffusion V6 XL - V6 (start with this one) | Stable Diffusion Checkpoint | Civitai

Pony Diffusion V6 is a versatile SDXL finetune capable of producing stunning SFW and NSFW visuals of various anthro, feral, or humanoids species an…

Civitai

Pony Diffusion 有什麼特別？

他在訓練前，利用多個月的時間來訓練電腦區分 “好” 跟 “不好” 的圖片，令電腦懂得什麼是美學。為了準確地為每一張圖評分，作者在 Pony Diffusion V6 版本中人手標籤了 20000 張圖片！

這些已標籤的 Dataset 就是 Pony Diffusion 最有價值的地方，因為他不只用一堆 My Little Pony 的圖片去訓練，還忠實地為他們評分。

在訓練時加入了 score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up 這類 tag 使標籤，令人生成圖片時只要加入 score_8_up 就會生成 8 分以上的圖片，使用 score_9 就會生成最優質的圖片。

使用這樣的 prompts e.g. score_9, a cute little pony 就會生成一隻最最最可愛的 Pony，而使用 score_8_up, a cute little pony 就會生成一隻比較沒這麼可愛的 Pony。

這種明確清楚的評分制度，遠比加入一堆 masterpiece, best quality, high resolution 更易控制及容易理解，這就是 Pony Diffusion 受觀迎的最大原因。

圖片比較

現在最新版的 Pony Diffusion 是 V6 XL，聽說 V7 放棄使用 Stable Diffusion 3 來訓練，看來暫時不會有新版本出來。

注意 Pony Diffusion V6 XL 的 Bug ！

Pony Diffusion V6 XL 由於 Dataset 設定上的錯誤，所以用 score tag 的使用有以下限制：

• 使用 score_8_up 原本是包含了 score_9 ，但應該是忘了在 score_9 的圖片加上 score_8_up 等 tag，所以使用 score_8_up 時，需要將以上的 tag 都加上， e.g. 使用 score_7_up 時需要加上 score_9, score_8_up 。
• 由於時間及資源不足，所以最低分的只有 score_4_up ，並沒有完全訓練到可以使用 score_1, score_2, score_3 。
• 相信 V7 會 fix 以上的問題。

比較一下不同 Score 下生成的圖片

{score}, pony, {pony name}, forest

以不同的分數設定中看到了生成圖片的分別，雖然部份原因也可能包括了 Pony Diffusion 作者的個人喜好，但整體上做用 score system 是更準確地生成高水準 (或者低水準)，而不用 masterpiece 等 prompts。

有些人認為此系統而應該在所有 Model 中使用，以確保生成圖片的質素是可控制的。

雖然 Stable Diffusion 3 Medium 順利在 6月12日推出，但是其效果卻引起了很大的爭議。在 Reddit 上有人嘗試用 prompt a girl laying on grass 去生成圖片，卻得出了無數斷肢女孩。

Stability AI 公開 Stable Diffusion 3 Medium 下載

下載及使用 Stable Diffusion 3 Medium 的教學。

Edmond YipEdmond Yip

到底 Stable Diffusion 3 發生了什麼事？

Stability AI 做了什麼？

在最初 Preview 版公開後到正式公開下載，各用家等了共六個月的時間，難道這半年來 Stability AI 不是在做優化嗎？但今日 Stable Diffusion 3 Medium 出來的效果奇差，也生成了各種奇怪的圖片。

在 SD3 的 hugginface 下載頁面或者可以找到答案，在下載說明頁面中，Stability AI 提到針對特定的嚴重傷害進行外部測試，例如兒童性虐待和性剝削、極端暴力、血腥、露骨色情內容和未經同意的裸體。

這些都是先前版本中未見的措施。雖然該公司聲稱具有平衡的安全性和性能，但人們普遍認為這些安全協議就是導致大量失敗的生成結果的原因。

Civitai 決定暫停 Stable Diffusion 3 的 model

Civitai 因為跟 Stability AI 未能解決版權爭議，為了保護使用者，決定要暫停所有跟 Stable Diffusion 3 相關的 Model 下載，包括 Checkpoint, LoRA 及 ControlNet ，待法律澄清後再做最終決定。未來 Stable Diffusion 3 的提供者可能被收取高額費用或要求移除模型，此決定將對 StableDiffusion 社群構成了重大威脅。

Temporary Stable Diffusion 3 Ban | Civitai

Unfortunately, due to a lack of clarity in the license associated with Stable Diffusion 3 , we are temporarily banning: All SD3 based models All mo…

Civitai

Stable Diffusion 的末日？

Stability AI 在前 CEO Emad Mostaque 離去後，在公開 stable diffusion 3 的決定上作出了致命性的錯誤，令本來是殺手級 Model - Stable Diffusion 3 變成了一個笑話。除了安全性的爭議外，版權的限制亦令不少平台對 Stable Diffusion 3 卻步，一連串的行政失誤會不會令 Stability AI 因此走上絕路？我們拭目以待！

在本月初於台北國際電腦展2024活動期間，Stability AI 宣布了一個令人振奮的消息，並確實公開 Stable Diffusion 3 的公開日期為7月12日。 Stability AI 終於正式提供了 Stable Diffusion 3 Medium 的下載版本。這個新版本受到眾多 AI 和技術社群的熱切期待。

要獲取 Stable Diffusion 3 Medium，用戶現在可以訪問 HuggingFace 網站，該網站提供詳細的說明和所需文件的下載方式。

下載 Stable Diffusion 3 Medium

進入 Stability AI 的 Huggingface 頁面。

stabilityai/stable-diffusion-3-medium at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

首先，您需要同意僅在非商業用途中使用此模型。

現在您可以下載 Stable Diffusion 3 Medium 檢查點模型了！

這些模型有什麼不同？

進入下載頁你會發現有很多不同版本的 Model，現在簡單介紹一下：

• sd3_medium.safetensors 包含 MMDiT 和 VAE 權重，但不包括任何文本編碼器，您需要自行下載 T5XXL 文本編碼器。
• sd3_medium_incl_clips_t5xxlfp8.safetensors 包含所有必要的權重，包括 T5XXL 文本編碼器的 fp8 版本，提供了質量和資源需求之間的平衡。
• sd3_medium_incl_clips_t5xxlfp16.safetensors 比 fp8 版本使用了 fp16 版本的 T5XXL ，效果比 fp8 版本更好，但需要更多的 GPU 來運行。
• sd3_medium_incl_clips.safetensors 包含所有必要的權重，但不包括 T5XXL 文本編碼器。它需要的資源最少，但模型的性能在沒有 T5XXL 文本編碼器的情況下會有所不同。
• T5XXL 是 Google 推出的一種新型文本編碼器，它在自然語言處理 (NLP) 中顯示出強大的技術優勢。

ComfyUI 的官方工作流程

開始之前，請記得將 ComfyUI 更新至最新版本。

stabilityai/stable-diffusion-3-medium at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

官方 Basic Workflow

您需要下載 sd3_medium.safetensors 並將其放入 /models/checkpoints 。

您還需要從 text_encoders 資料夾中下載 clip_g.safetensors、clip_l.safetensors 和 t5xxl_fp16.safetensors 並將它們放入 /models/clip 。

不使用官方 Workflow

如果您使用 sd3_medium_incl_clips.safetensors，這樣您也可以使用正常工作流程，因為已經內置了舊版的 text encoder (Clip L / Clip G)。

如果您想在正常工作流程中使用 T5XXL，可以嘗試 sd3_medium_incl_clips_t5xxlfp8.safetensors，已經內置了 T5XXL fp8 或 sd3_medium_incl_clips_t5xxlfp16.safetensors 內置 T5XXL fp16 。

使用 T5XXL 模型時，理解自然語言提示的能力會顯著增強。然而，這種改進需要更多的記憶體。由於 Stable Diffusion 3 Medium 解釋提示的方式與 SDXL 等模型不同，因此需要更多時間來學習如何充分發揮 Stable Diffusion 3 的潛力。

Stable Diffusion 3 Medium 處理提示的獨特方式意味著用戶需要投入時間來實驗並理解這個新模型的細微差別。這種學習曲線是必要的，以實現最佳結果並利用 Stable Diffusion 3 Medium 提供的先進功能。

關於 prompts 中的 clip_l 及 clip_g 可以看看此文章

ComfyUI 上 Text G 跟 Text L Prompts 的關係

在 ComfyUI 上使用 Clip Text Encode SDXL Node 時，會兩個不同的 Prompts 輸入格，一個叫 text_g 另一個叫 text_l，兩個框格輸入相同的 Prompts 也會有不同的效果，到底兩個 Prompts 之間有什麼關係，我們又應該在兩個格中輸入什麼 Prompts 會比較好呢？

Edmond YipEdmond Yip

一直以來很多使用者都習慣使用 Automatic1111 Stable Diffusion WebUI，但是隨著 Fooocus 及 ComfyUI 的推出， Automatic1111 的 WebUI 即使一直更新但功能總是跟不上。

現在 Fooocus 及 ControlNet 的作者 lllyasviel 再推出 Stable Diffusion WebUI Forge，一個基於 Automatic1111 版本改良的版本，除了 Automatic1111 的基本功能外，還新增一些內置功能以及使用不同的 Backend，新 Backend 使用更少記憶體及擁有更快的速度。

對原有 Automaitc1111 版本用家來說是無痛升級，因為一樣的界面一樣的功能下，能使用更少記憶體就能更快生成圖片，強烈建議所有 Automatic1111 使用者升級到 Forge。

安裝 Stable Diffusion Forge

如果你懂得用 Git 又有使用 Automatic1111 版本 WebUI，在 Automatic1111 的 root 資料夾使用以下指令可以馬上轉成 Forge branch ，省卻搬 Model/Extension 的煩惱，也可以隨時切換 brand 回到 Automatic1111 版本。

git remote add forge https://github.com/lllyasviel/stable-diffusion-webui-forge
git branch lllyasviel/main
git checkout lllyasviel/main
git fetch forge
git branch -u forge/main
git pull

如果你想另外開一個資料夾來儲放，可以使用跟安裝 Automatic1111 的方法來安裝。

MacOS 安裝 StableDiffusionWebUI 及 有用的 Extension

雖然網上有不少 Cloud 的 圖像生成 AI service，但是如果要大量/長期免費地使用，在本地安裝及依靠本機運算能力的 Stable Diffusion 是一個不錯的選擇。

Edmond's BlogEdmond Yip

Windows 使用者可以下載後運行 update.bat 更新後運行 run.bat 啟動。

啟動後會自動下載一些 Model，然後就會自動彈出視窗。

跟 Automatic1111 一模一樣，只是多了一些 Integrated 的功能。

效能提升

官方做了效能比較，相同電腦用 Forge 生成相同的圖片會比 Automatic1111 快，所需的記憶體也較少。

而且電腦效能越低，加速的效果越強，一些以前不足以生成 SDXL 1024 x 1024 圖片的電腦也可以順便生成。

其中只有 6GB / 8GB GPU Ram 的速度提升最高，最高可以提升 75% 速度！反而 24GB 4090 經測試後只有 3-6% 的速度提升。

Backend 功能

由於 Forge Backend 是全新設計的，一些原本啟動 Automatic1111 時的參數被刪除，e.g. medvram, lowvram, medvram-sdxl, precision full, no half, no half vae, attention_xxx, upcast unet 通通都不能用。

不過即使你什麼參數都沒有使用，還是可以以 4GB Vram 使用 SDXL Model。

一些使用時必須小心的參數

1. --always-offload-from-vram 當你同時使用多個 software 或想 forge 使用更少 Vram 把 Vram 留給其他 software 使用時可以使用（使用這個時效能會慢一點但會較穩定）。
2. --cuda-malloc 要求 pytorch 為了 tensor malloc 使用 cudaMallocAsync 。（效能會比較快，但有機會崩潰）。
3. --cuda-stream 消取移動 model 的時間，SDXL 在小 Vram 的裝置上（RTX4050 6GB, RTX 3060 6GB）上有 15% 至 25% 的效能提升。但這個設定會因為 GPU 沒有足夠空間而容易崩潰，特別在舊電腦上。（效能會有所提升，但有機會崩潰）。
4. --pin-shared-memory 這個只跟 --cuda-stream 一起使用時有用。卸載 model 時會將 model 卸載到 GPU 記憶體而不是系統記憶體。一些少 Vram 的使用 SDXL 時會有 20% 的效能提升，但是因為 pytorch 沒有有效的方法去偵測記憶體，所以會引致崩潰並而不能復原（效能會提升，但有機會崩潰）。

其他可以控制 GPU 的參數

只用 GPU/CPU Vram

--always-gpu
--always-cpu

設定 Attention layer

--attention-split
--attention-quad
--attention-pytorch
--disable-xformers
--disable-attention-upcast

設定 floaing point （使用 --all-in-fp16 可以節省記憶體的使用。）

--all-in-fp32
--all-in-fp16
--unet-in-bf16
--unet-in-fp16
--unet-in-fp8-e4m3fn
--unet-in-fp8-e5m2
--vae-in-fp16
--vae-in-fp32
--vae-in-bf16
--clip-in-fp8-e4m3fn
--clip-in-fp8-e5m2
--clip-in-fp16
--clip-in-fp32

設定平台

--directml
--disable-ipex-hijack
--pytorch-deterministic

Forge 本身不建議使用這些參數，除非你真的知道怎麼用並且有這個需要。

Unet Patcher

Forge 並不是借用任何平台的 backend，而是使用名為 Stable Diffusion WebUI with Forge backend，大家可以稱之為 Forge backend。一些 python symbols 跟其他軟件相似是為了減低其他開發者的學習成本。

現在開發 forge extension 很簡單，作者只用 80 行 code 就程寫了 FreeU 的功能。

extensions-builtin/sd_forge_freeu/scripts/forge_freeu.py

其他相似的 extensions 好像 HyperTile，KohyaHighResFix，SAG 都能以大約 100 行 code 就能實現。

實現 Stable Video Diffusion 及 Zero123 也變得很簡單。

extensions-builtin/sd_forge_svd/scripts/forge_svd.py

現在所有 code 都看似獨立運作，但會自動進行卸載及轉移記憶體，以下記憶體由打開 WebUI，載入 SDXL，生成圖片，載入 SVD，生成影格，GPU 使用評保持平穩，代表記憶體完美平穩地轉移。

新功能

因為 Unet Patcher 的關係，使 Forge 可以輕易支援 SVD，Zero123，Masked IP-adapter，Masked ControlNet， Photomaker 等等。

Photomarker 這個功能需要 prompt 為 a photo of {photomaker} 去設定你的圖片變成某個攝影師的風格。

新取樣器

DDPM
DDPM Karras
DPM++ 2M Turbo
DPM++ 2M SDE Turbo
LCM Karras
Euler A Turbo

以下 extension 由於已經內置，所以不用安裝

sd-webui-controlnet
multidiffusion-upscaler-for-automatic1111

以下 extension 已確定無問題可以使用

canvas-zoom
translations/localizations
Dynamic Prompts
Adetailer
Ultimate SD Upscale
Reactor

如果使用 Forge 的 unet patcher 重寫舊 extension 的話，可以大幅減少八成的 code，特別是跟 ControlNet 相關的 extension 全都變得更細少。

History 記錄

Forge 還內置 History 記錄功能，在上面按一下沙漏齒輪 icon 就可以打開記錄側欄，只要 double click 圖片就可以即時套用該圖片的設定及 prompts，非常方便。也可以按上面沙漏 save icon 儲存現時的設定。

總結

Forge 可以作為一個強化版的 Automatic1111 WebUI 使用，因為分支的關係，可以繼續受惠於 Automatic1111 升級及 Forge 的原生性能提升。強烈建議所有 Automatic1111 WebUI 的使用者都馬上轉成 Forge。

Stable Diffusion 在推出短短兩年間已經推出了多個版本，最為人熟悉的就是 Stability AI 推出的 1.5 跟 SDXL 。那麼除此之外，還有什麼版本呢？就由最初 Stable Diffusion 的起源開始說起。

沒有 Version 1.0 的 Stable Diffusion

追溯最舊版本的 Stable Diffusion 就是由 CompVis 發佈的 1.1 版本，既不是由 Stability AI 推出，也不是由 version 1.0 開始，因為在此之前其實是叫 Latent Diffusion，因為 Stable Diffusion 本來就是一種 Latent Diffusion Model (LDM)。

同樣由 CompVis 開發的 Latent Diffusion 才是真正的 Stable Diffusion 1.0 ，而且一開始已經有 Text-to-Image 及 Inpaint 的功能存在。Latent Diffusion 並沒有再更新或新的版本，因為接下來就推出了 Stable Diffusion 。

Stable Diffusion 1.1, 1.2, 1.3, 1.4

在 Latent Diffusion 推出後不久，2022 年 8 月 CompVis 就接連推出了四個版本的 Stable Diffusion。越高的版本編號使用更多的步數來訓練，出來的效果亦比較好。

• Stable Diffusion 1.1
  使用了 237000 步 256 x 256 及 197000 步 512 x 512 來訓練。
• Stable Diffusion 1.2
  使用了 515000 步 512 x 512 訓練，並使用了 laion-improved-aesthetics 作為 dataset。
• Stable Diffusion 1.3
  是 1.2 的改良版，使用了 195000 步 512 x 512 的圖來訓練，並使用了 laion-improved-aesthetics 作為 dataset，減少了 10% 文字調節。
• Stable Diffusion 1.4
  是 1.2 的改良版，使用了 225000 步 512 x 512 來訓練，並使用了 laion-aesthetics v2 5+ 作為 dataset，減少了 10% 文字調節。

Stable Diffusion 1.5

2022 年 10 月時，RunwayML 推出了最廣為人知的 Stable Diffusion 1.5，是早期最多使用來用來 fine tune 訓練的版本，甚至比之後推出的版本更受歡迎。不過 Stable Diffusion 1.5 後， RunwayML 及 CompVis 也退出了 Stable Diffusion 的開發了。

• Stable Diffusion 1.5
  也是 1.2 的強化版，採用了 595000 步 512 x 512 的 laion-aesthetics v2 5+ dataset 並減少了 10% 文字調節訓練而成。

Stable Diffusion 2.0, 2.1

一直以為是 Stable Diffusion 正式官方的 Stability AI。其實 2022年 11 月才第一次推出的 Model 是 Stable Diffusion 2.0 及同年 12月的 2.1，然而這兩款 Model 因為容量比 1.5 大但沒有沒 1.5 好，一直都很少人使用，也鮮有相關的 extensions 會支援 2.0/2.1 。

• Stable Diffusion 2.0
  原先以 550000 步 256 x 256 訓練後再以 850000 步的 512 x 512 的圖片加以訓練出 base 版本。後來再以 base model 改良，使用 150000 步 v-objective 訓練及 768 x 768 大小的 dataset 訓練 140000 步。
• Stable Diffusion 2.1
  以 2.0 為基礎 fine tune 而成，並以相同 dataset 追加了 55000 步的訓練及 155000 步的額外步數來 fine tune。

Stable Diffusion XL (SDXL)

2023 年 6月繼 Stable Diffusion 1.5 後另一個強大的 Model，SDXL 分別以 600000步 256 x 256 和 200000 步 512 x 512 大小的圖片 Dataset 訓練及剪裁而成，適合生成 1024 x 1024 大小或長闊總和等於 2048 的圖片，並將生成過程分成 base 及 refiner 兩步，生成圖片質素大大提升。而且 LoRA 及 ControlNet 也對 SDXL 提供完善的支援，所以使用者人數不斷增加。

• Stable Diffusion XL 0.9 base / refiner
  SDXL 的預覽版，只供早期測試用，生成效果明顯比正式版差，所以使用者不多。
• Stable Diffusion XL 1.0 base /refiner
  SDXL 正式版，強大的生成效果，比之前的 Model 都有更強的文字理解能力，可以使用自然言語來作 prompts，也比 0.9 版本有更佳的效能。
• Stable Diffusion XL beta 2.2.2
  非公開版本，只能在 Stability AI Developer Platform v1 版的 API 中使用，將 engine_id 設定為 stable-diffusion-xl-beta-v2-2-2 才能使用，是 SDXL 的 fine tune 版本。
• Stable Image Core
  另一個非公開的 SDXL Model，只能在 v2 API 中使用，據官方說明是 SDXL 的 fine tune 版本。

Stable Diffusion 1.6

這個版本相信比較少人知道，因為這不是一個 open source 的版本，其實是 Stability AI Developer Platform 在 2023年 11月發佈，只能在 v1 版的 API 可以使用 (最新 API 為 v2)。

• Stable Diffusion 1.6
  是 Stable Diffusion 1.5 的 fine tune 版本，據說能生成比 1.5 更好的圖片。

Stable Diffusion XL Turbo (SDXL Turbo)

在 2023 年 11 月能加快生成的 LCM (Latent Consistency Models) 推出後，Stability AI 也推出了高速生成圖片，將一般 30～40步的生成步數，大幅減少到 1～4步。

• SDXL Turbo
  從 SDXL 加上 Adversarial Diffusion Distillation (ADD) 技術蒸餾而成，能大幅減少生成圖片所需的步數，但只能生成 512 x 512 的圖片，效果也略為濛糊。
• SD Turbo
  Stable Diffusion 2.1 的 Turbo 版本，意外地官方會推出 2.1 版本，但跟 2.1 一樣也很少使用者。

Stable Video Diffusion (SVD)

在動畫 Model Animatediff 推出後不久，2023年 11月 Stability AI 推出了首個 img2vid 的動畫 Model Stable Video Diffusion，只需一張圖片即可生成數秒動畫，並且沒有之前生成動畫的閃格問題。

• Stable Video Diffusion
  用來生成 14 個影格 576 x 1024 的影片。
• Stable Video Diffusion XT
  Fine tune 自 Stable Video Diffusion 用來生成 25 個影格 576 x 1024 的影片。

Stable Zero 123

2023 年年尾連續發佈多個 Model ， 2023年 12月發佈的 Stable Zero 123 向另一個方向發展，就是生成 3D 物件，利用單一張圖片就可以生成多個方向的圖片，即使是背面也可以順利生成。

• Stable Zero 123
  此 Model 基於 Zero 123 訓練而成，而出來的效果比 Zero123 及 Zero 123 XL 更好。

Stable Diffusion Cascade

2024 年 2月 Stability AI 發佈了新一化的 Stable Diffusion Cascade，比起之前 SDXL base 跟 refiner 的兩段式生成，Stable Diffusion Cascade 採用 ABC 三段式生成，單獨處理文本生成的過程，令生成效果保持高質同時大幅提升效能，而且單一 Model 已經可以生成不同風格的圖片，所以不像 1.5 及 SDXL 有大量 fine tune Model，但其能力已經超越 SDXL 水準。

• Stable Diffusion Cascade

Stable Diffusion XL Lightning (SDXL Lightning)

在 SDXL Turbo 推出後，雖然令 SDXL 生成速度快如 SD 1.5 ，但是其畫質及生成細緻畫面會濛糊的問題令人卻步。

• SDXL Lightning
  由 ByteDance 開發的 SDXL-Lightning 不單跟 SDXL Turbo 一樣可以 4～8 步內完成，並保持生成效果高質素 1024 x 1024 的圖片，獲得不少開發者青睞，所以也有不少以 SDXL Lightning 為藍本 fine tune 的 Model。

SDXL Lightning ⚡比 SDXL Turbo 更快更好

在 2023 年底 SDXL Turbo 才首次亮相。不足三個月一個更優秀和更迅速的 SDXL Lightning 閃電般誕生。這款創新模型能夠在短時間內生成優質圖像，提供從 1 到 8 步的選擇。再跟 LoRA 和 Unet 進行整合，SDXL Lightning 使用家能夠以閃電般的效率生成圖像。

Edmond YipEdmond Yip

Stable Diffusion 3

Stability AI 在發佈 Stable Diffusion Cascade 後不久，2024 年 2 月就發佈了 Stable Diffusion 3 的預覽，並在 2024 年 4 月在 Stability AI Developer Platform 以 API 形式發佈了 Stable Diffusion 3，正式公開給公眾使用，是第一隻沒有 open source 的 Stable Diffusion Model，同時 CEO 的離去，令人懷疑 Stable Diffusion 3 會不會有 open source 的一日。

• Stable Diffusion 3
  只有在 Stability AI 提供的 API 中使用，超越以前所有 Model 的畫質，強大的文字識別能力。
• Stable Diffusion 3 Turbo
  在推出 API 同時登場的 Turbo 版本，能以更快的速度生成圖片，同時保持 Stable Diffusion 3 的強大能力。
• Stable Diffusion 3 Medium
  首個 Open Source 的 Stable Diffusion 3 Model，雖然訓練的資料量只有 Stable Diffusion 3 Large 的一半，但因為配合 T5XXL 的 text encoder ，對自然語言的理解能力大增。

Stable Diffusion 3 API 搶先登場

萬眾期待的 Stable Diffusion 3，日前已經在 Stability AI Developer Platform API 以 API 搶先發佈，看來跟傳聞一樣未必會以 open source 形式公開。

Edmond YipEdmond Yip

Stability AI 公開 Stable Diffusion 3 Medium 下載

下載及使用 Stable Diffusion 3 Medium 的教學。

Edmond YipEdmond Yip

Stable Video 3D

2024年 3月 Stability AI 發佈了 Stable Video 3D，結合 Stable Video Diffusion 及 Stable Zero 123 的技術，利用單一圖片生成一段可以 360 度旋轉的動畫。

• Stable Video 3D
  使用一張靜態的圖片，就可以生成 21 個影格 576 x 576 的動畫。

生成式動畫 3D 化，Stable Video 3D 登場

Stability AI 宣布發布其最新模型 Stable Video 3D (SV3D)，專為渲染 3D 影片而設計。 SV3D 在先前 Stable Video Diffusion 的基礎上引入了新的深度，能夠從單一影像輸入建立和轉換多視圖 3D 視訊。

Edmond YipEdmond Yip

Cos Stable Diffusion XL

2024 年 4月 Stability AI 發佈了 Cos Stable Diffusion XL，一款基於 SDXL 使用 Cosine-Continuous EDM VPred schedule fine tune 而成。特徵是可以生成純黑至純白的影像。

• Cos Stable Diffusion XL 1.0
  基於 SDXL fine tune 而成。
  
• Cos Stable Diffusion XL 1.0 Edit
  跟 Cos Stable Diffusion XL 同時推出，特點是使用作 img2img 的 model 可以不用任何 mask 或 ControlNet 的情況下做到 inpaint 的效果。

Cos Stable Diffusion XL 及 Edit 登場，重新定義 inpaint

Stability AI 又推出一款新的 Checkpoint Model - Cos Stable Diffusion XL，Cos 的意思就是 Cosine-Continuous。其中最大賣點就是 Cos Stable Diffusion XL Edit 版整，使用這個 Checkpoint Model 以全新的方法去進行 inpaint，不用落 mask，不用 controlnet，直接用 prompt 就可以做到 inpaint 效果！

Edmond YipEdmond Yip

直到 2024 年 5月所推出的 Stable Diffusion Model

連同沒公開的幾個版本，其實 Stable Diffusion 在短短兩年間推出了超過 20 個版本，你最喜歡使用的版本又是那一個呢？

2024 年 6 月12 日更新

• Stable Diffusion 3 Medium
  首個 Open Source 的 Stable Diffusion 3 Model，雖然訓練的資料量只有 Stable Diffusion 3 Large 的一半，但因為配合 T5XXL 的 text encoder ，對自然語言的理解能力大增。