上週 feed 裡漂過一個連結,說能把 125B 參數的模型跑在電競 PC 上 — NVIDIA 或 AMD、12GB VRAM、一個安裝程式。我點進去是想挑錯的。
結果沒有錯。Strata 跑的是 Qwen3.8-Flash-Next — Qwen4 架構的開源預覽 — 在普通 PC 上,Windows 或 Linux、MIT license、全部本地。能聊天、寫 code、看圖,在 127.0.0.1:8080 開一個 OpenAI-compatible API。
這篇是手把手教學：要什麼硬體、怎麼裝、怎麼用，以及怎麼再多走一步把它接成 Zed 裡的 coding agent — 全部在真機上驗證過。
需要的東西
項目 | 需求 |
|---|---|
GPU | NVIDIA RTX 20/30/40/50 或 AMD RX 6800/6900/7700/7800/7900/9060/9070 系列 — VRAM 12GB 以上 |
RAM | 最少 32GB;64GB 每個尺寸都放得下 |
磁碟 | ~80GB 空間 — 強烈建議 SSD（原因見下面實戰筆記） |
系統 | Windows 10/11 或 Linux，最新的顯卡驅動 |
多卡也行 — 兩三張卡可以分攤模型。
安裝
從 GitHub 下載 repo zip（或
git clone)。Windows： 雙擊
START-HERE.bat。Linux： 跑./setup.sh。安裝程式會偵測你的卡並問幾個問題 — 模型尺寸、context 長度、要不要開圖片輸入。一路 Enter 用建議值，記得設一組 API key。
它會下載模型（~70–80GB，可續傳）並啟動 engine，瀏覽器自動開
http://127.0.0.1:8080。
下次用一樣跑那個 script — 直接啟動，不會重複下載。UPDATE.bat / ./update.sh 只更新不啟動。
怎麼用
瀏覽器 UI 在
127.0.0.1:8080:Chat 聊天、Monitor 即時監看模型跟 GPU/CPU/RAM、About 有設定跟 API 位址。OpenAI 相容的 app:base URL 填
http://127.0.0.1:8080/v1,API key 跟模型名隨意填。Anthropic 相容的 app:
http://127.0.0.1:8080/v1/messages(Claude Code 設ANTHROPIC_BASE_URL=http://127.0.0.1:8080)。Codex CLI / Responses API:
http://127.0.0.1:8080/v1/responses。Thinking 強度：聊天選單或 app 的 reasoning-effort 設 off / low / medium / high。off 最快，難題用 high。
圖片：安裝時選要；AMD 在 Linux 能用（Windows 還不行）。
原理，簡短版
Qwen3.8-Flash-Next 是 mixture-of-experts 模型：48 層 × 每層 512 個 expert = 24,576 個專家，但每個 token 只需要 10 個 routed + 1 個 shared。Strata 把它們放在三層：
GPU — 每個 token 都會碰的部分，加一個會自我學習的常用 expert cache（每多 1GB VRAM 多放 ~700 個）
RAM — 全部 24,576 個 expert,pinned;GPU cache 沒接住的由 CPU 就地算，跟 GPU 平行
SSD — 28.8GB 的 n-gram embedding table，每 token 經 OS cache 讀幾行
再加上模型內建 MTP layer 先猜 token 給大模型驗（快 1.6–1.8 倍）、8K-token chunk 讀長 prompt 時 expert 同時經 PCIe streaming，普通硬體上 prefill 就能破 1,000 tok/s。
真機實戰筆記
README 實測 12GB 的 RTX 5070 decode 53–94 tok/s、3090 估 100–140 — 那些是量出來的真數字，你能接近多少取決於三層整體，不只是那張卡。我自己跑下來學到幾件事：
模型要放 SSD。 n-gram table 和溢出的 expert 會一直讀碟。我第一台機器放在傳統 HDD（隨機讀 ~40MB/s),decode 掉到 ~5 tok/s — 同一張卡，體驗完全不同。碟是機器的一層，不只是儲存。
RAM 餘裕很重要。 模型會 pin 走大部分，OS 靠剩下的幫 table 做 page cache。跑大 quant,64GB 是舒服的下限。
首次啟動可能卡住 1–3 分鐘，它要把 35–55GB 載進 RAM 並鎖定。正常，等它。
Windows + 多卡:
cudaMalloc算進系統 commit 上限（RAM + pagefile)。如果 engine 配不到物理上還空著的 VRAM，把 pagefile 調到 32GB+ 再重開機。慢碟 + watchdog:engine 如果在慢碟上被「no progress for 60 s」殺掉，那是 I/O 不是 hang — 設
STRATA_WATCHDOG_S=900。預設一次一個 request(
"parallel": 1)；有 batching 但拿延遲換。選 quant:
Coder塞得進 32GB RAM 但程式以外的領域（含 CJK）變弱 — 要跑中文選 Q2_0、IQ2_XS 或 IQ3_S，這些保留全部 expert。
最後一哩：接成 coding agent
API endpoint 不是 agent。Agent 需要 session、一個被 sandbox 住的 working directory、能呼叫的工具，還有編輯器講的協定 — Zed 講的是 Agent Client Protocol。Strata 刻意停在 API；最後一哩是另一支程式。
我用的是 acp-bridge — 利益揭露，我的專案：5MB 的 Rust adapter，把任何 OpenAI-compatible endpoint 變成 ACP agent。設定只要兩個檔：
# acp-bridge 的 config.toml
[llm]
base_url = "http://127.0.0.1:8080/v1"
model = "qwen3.8-flash-next-iq3_s"
api_key = "strata-local-key"
timeout_secs = 1800 # Strata 一次只處理一個 request,timeout 給寬一點
max_history_turns = 50
// Zed 的 settings.json
{
"agent_servers": {
"acp-bridge": {
"type": "custom",
"command": "D:\\tools\\acp-bridge\\acp-bridge.exe",
"args": ["D:\\tools\\acp-bridge\\config.toml"]
}
}
}
然後 Zed 的 agent panel 就能跟住在你 RAM 裡的 125B 模型對話，帶 sandboxed 檔案工具 — read_file、list_dir、git_status 等等。什麼都不離開機器：編輯器、bridge、engine、模型，整條鏈全本地。
我端到端在真機上跑過:五輪對話、十二個 tool call 全部正確 dispatch、usage_update 是真實 token 數。一個要知道的 caveat:acp-bridge v0.9.2 的 session cwd sanitizer 有個 Windows 路徑 bug,會讓真實 client 的檔案工具失效 — 修復中。
結尾
誠實的總結：Strata 說到做到 — 前沿架構的 125B 模型、消費級硬體、代價是一次下載。給它一個 SSD、夠的 RAM、合理的 pagefile，它回你一個什麼都能接的本地 API — 包括，透過一座橋，你的編輯器。
這篇裡面每個東西都在真機上跑過 — 硬體、設定檔、踩到的 bug 都是實際遇到的。
