0 0 % UP % UP More Usable GPU Capacity 更多可用 GPU 算力容量
Reuse previously generated KV cache instead of rebuilding it, freeing GPUs for additional workloads. 重用先前產生的 KV 快取 (KV cache) 而非重新建構、釋放 GPU 資源以處理額外工作負載。
Cache Server Cache Server
Cache Server 把 GPU 叢集的 KV cache 變成跨節點共享的儲存池 —
VRAM / DRAM / SSD 分層推論,透過 InfiniBand 或 RoCE 高速網路即取即用。
現有GPU叢集即刻上線、GPU推論成本砍半、Concurrent User倍增、TTFT 大幅下降。
0 0 % UP % UP Concurrent Users 並行使用者
Serve more concurrent users on the same GPU infrastructure by improving KV cache reuse across sessions and nodes. 藉由改善跨工作階段與節點的 KV 快取重用，在相同的 GPU 基礎設施上服務更多並行使用者。
0 0 % UP % UP Faster TTFT vs. Recompute TTFT 較重算更快
Retrieve cached context from VRAM, DRAM, or SSD tiers instead of recomputing prefill from scratch. 自 VRAM、DRAM 或 SSD 分層中擷取已快取的上下文，而非從頭重新計算 prefill。
GPU 叢集 + Cache Server
現有 GPU Server 透過 InfiniBand / RoCE 連到 Cache Server。VRAM → DRAM → SSD 三層分層快取，容量隨需擴張，效能與成本同時兼顧。
KV cache 重用叢集推論
GPU Server 1
Compute Node
VRAM
DRAM
GPU Server 2
Compute Node
VRAM
DRAM
GPU Server 3
Compute Node
VRAM
DRAM
Cache Server 1
Shared Cache Node
SSD
SSD
Cache Server 2
Shared Cache Node
SSD
SSD
Shared Cache Pool
▸ Toggle High-Speed Interconnects to bring up the shared cache pool
現有 GPU 叢集即刻啟用
現有 GPU Server 透過高速網路存取 Cache Server,無需更換 GPU 或重編應用。
分層快取架構
VRAM / DRAM / SSD 三層快取,隨需擴充容量、同時壓低 GPU 運算成本。
彈性部署能力
從單一節點到大規模 GPU 叢集,靈活擴張,Kubernetes 原生支援。
高性價比升級
以經濟的 SSD 取代昂貴 DRAM 擴充,低成本實現效能升級。
為 Long-Context 與 Agentic AI 而生
從 RAG、文件摘要到 Agent 多輪對話 — 一種架構，適合各種推論規模。
為何需要 KV Cache
Agent 每一步都在累加 KV Cache 需求
Agent 不是「一問一答」，而是「思考 → 動作 → 觀察」反覆循環 —— 每一步都把整段歷史壓進 cache。 Agents aren't one‑shot Q&A — they loop through Think → Act → Observe, packing the full history into cache at every step.
超長系統提示 + 工具定義
Tool Schema、MCP 定義與角色指令（Role Instructions）—— 初始 Context 即達 5k–20k Tokens。
ReAct 迴圈不斷累積
ReAct 思考迴圈（Thought → Action → Observation）中，每一步驟皆會附加至 Context，必須完整保留以維持推理的連貫性。
會話暫停後，使用者再度載入時需重算
長上下文會話中斷後重啟，若無快取保留，GPU 必須重新 Prefill 完整歷史，造成嚴重的延遲與算力浪費。
工具回傳結果龐大
Web search、檔案讀取、資料庫查詢、API 回應常常一次塞進數千 tokens。
Sub-agent 與並行分支
多個子代理（Sub-agents）各自承載完整 Context，並行工具調用（Parallel Tool Calls）導致快取需求呈指數級倍增。
沒有 KV Cache Reuse，每步都得重算全部歷史 token。
GPU 算力被 prefill 重算淹沒。 Without KV Cache reuse,
every step recomputes all historical tokens — GPU compute drowns in prefill recomputation.
AI Memory Wall AI Memory Wall Before Before VRAM / DRAM only VRAM / DRAM only After After VRAM / DRAM + NVMe SSD Tier VRAM / DRAM + NVMe SSD Tier
VRAM 限制與 GPU 重複運算瓶頸 VRAM Constraints & Redundant GPU Recomputation
KV cache 需求是數百 GB 到 TB 級，VRAM+DRAM 卻只能容納很小部分。新 request 一來就 evict 熱資料，舊 session 回來只能重做 prefill — 惡性循環。 KV cache demand reaches hundreds of GB to TBs, but VRAM + DRAM holds only a small slice. New requests evict hot data on arrival; returning sessions are forced to recompute prefill — a vicious cycle.
容量不足 Low capacity 頻繁 Swap Constant swap 命中率崩潰 Hit rate collapses
惡性循環 Vicious cycle
-
新 request 載入 KV New request loads KV
舊的熱資料被 LRU 踢出。 Old hot data gets kicked out by LRU.
-
舊 session 回來 Old session returns
Cache miss，只能重做 prefill。 Cache miss — only option is to recompute prefill.
-
再次 evict 他人 Evict someone else again
下一輪重複此循環。 The next round repeats the same loop.
Hit Rate Hit Rate ≈ 10–30% ≈ 10–30%
TTFT TTFT 極不穩定 Highly jittery
容量充足 Ample capacity 直接命中 Direct hit 命中率飆升 Hit rate jumps
良性循環 Virtuous cycle
-
Hot 資料留在 VRAM/DRAM Hot data stays in VRAM/DRAM
高頻訪問仍享有 ns～ms 級延遲。 High‑frequency access still enjoys ns–ms latency.
-
Warm / Cold 移到 SSD Warm / Cold offloaded to SSD
TB 級空間，evict 不再是常態。 TB‑scale capacity — eviction is no longer the norm.
-
需要時 prefetch 回來 Prefetch back when needed
比重做 prefill 仍快 7×+。 Still 7×+ faster than recomputing prefill.
Hit Rate Hit Rate ≈ 60–80%+ ≈ 60–80%+
TTFT TTFT 穩定 Stable
Tiered Cache Architecture Tiered Cache Architecture
Offloading VRAM to Cost-Effective Storage 將 VRAM 負載延伸至高性價比儲存
VRAM is expensive and too small. With tiered caching, hot data stays in VRAM/DRAM while warm and cold data lives on NVMe or the Distributed Cache Server — and any node in the cluster can hit and reuse it.VRAM 昂貴又太少容量。透過分層快取，熱資料留在 VRAM/DRAM，溫冷資料使用 NVMe 或 Distributed Cache Server，叢集任一節點都能命中重用。
~GB · ns ~GB · ns
GB-TB · μs GB-TB · μs
~10 TB · ms ~10 TB · ms
PB · ms PB · ms
Longer session retention 更長的 Session 留存
Old conversations no longer get squeezed out by VRAM. When users return, the cache is recalled — no recompute, continuous experience. 舊對話不再被 VRAM 容量擠掉，使用者回來時，調用 cache 不須重算，體驗連貫。
Higher hit rate 更高的命中率
Cache on any cluster node can be reused by another prefill node — no session‑aware routing required. Cluster 內任一節點的 cache 可被其他 prefill node 重用，不需 session-aware routing。
Decoupled cost structure 成本結構解耦
Trade cheap NVMe / DRAM for expensive VRAM — per‑token serving cost drops dramatically. 用便宜的 NVMe / DRAM 換取貴的 VRAM，單位 token 服務成本顯著下降。
Biggest wins for agentic AI Agentic AI 場景獲益最大
Agent workflows, multi‑turn dialogue, RAG, and document summarization all gain latency and stability together. Agent Workflow、多輪對話、RAG、文件摘要等場景，延遲與穩定性同步改善。
Benefits 效益
Storage in Place of Compute, GPU Cycles Saved at Scale. 以存代算，大量節省 GPU 算力。
Once produced, KV cache is shared across the entire cluster. Long prompts, multi-turn dialogue, agent workflows, and RAG prefixes don't have to run from scratch every time - Time-to-First-Token drops immediately.KV cache 一旦產生，就在整個 Cluster 內可共用。長 prompt、多輪對話、Agent workflow、RAG 的 prefix 不必再每次從零跑起，Time-to-First-Token 立刻下降。
Concurrent Users 並行使用者
Same GPU cluster, more than 2x concurrency. Prefill no longer hogs the GPU. 同樣的 GPU 叢集，翻倍以上的併發。Prefill 不再佔滿 GPU。
GPU Compute Required GPU 運算需求
With KV cache reuse, GPU compute drops by more than half. 透過 KV-Cache，GPU 節省一半以上的算力。
Faster TTFT 首字時間 (TTFT) 加速
Hit-and-return replaces recompute. 命中即返，取代重算。
Stop letting the GPU re-run prefill at scale. 不再讓 GPU 大幅重複算 Prefill。
Reserve your GPU's precious compute for response generation — and offload input processing to aiDAPTIV Cache Memory. aiDAPTIV keeps your AI Agents running fuller, steadier, and more cost-efficiently. 將 GPU 的寶貴算力留給「生成回覆」，並把「解析輸入」的計算負擔交給 aiDAPTIV Cache Memory。aiDAPTIV 讓您的 AI Agent 運作得更滿、更穩、更划算。
Capacity Explorer Capacity Explorer
Same GPU, More Users Under SLA 相同 GPU，在 SLA 內撐起更多使用者
Compare concurrent-user capacity with and without aiDAPTIV KV cache reuse across context lengths. Drag SLA thresholds to find your workload's operating point; same GPU, up to ~2× capacity.比較有無 aiDAPTIV KV cache 重用在不同 context 下的並行使用者容量。拖曳 SLA 門檻，找到工作負載的最佳營運點——相同 GPU，最高約 2× 承載。
Context length 上下文長度
TTFT SLA TTFT SLA
TPS SLA TPS SLA
TTFT
Lower is better 越低越好
TTFT
Lower is better 越低越好
Concurrent users 並行使用者
Token Per Second
Higher is better 越高越好
TPS
Higher is better 越高越好
Concurrent users 並行使用者
Architecture and Performance Analysis 架構與效能分析
Phison Cache Server differentiates with a single-node RAID + HA design, POSIX parallel filesystem, linear SSD scale-up, and competitive TCO.Phison Cache Server 以單一節點整合 RAID 與高可用性、POSIX 平行檔案系統、SSD 線性垂直擴充，並具備競爭力成本。
| Evaluation item 評估項目 | US distributed flash file system 美商分散式快閃檔案系統 | US high-performance AI storage 美商高效能AI專用儲存 | US traditional hybrid storage 美商傳統大廠混合儲存 | Intl. emerging all-flash data platform 國際新興全快閃數據平台 | Phison Cache Server Phison Cache Server |
|---|---|---|---|---|---|
| Primary function 主要功能 | High-performance parallel file system 高效能平行檔案系統 | High-performance AI storage 高效能AI儲存 | Secure scale-out NAS built for AI 專為 AI 打造的安全向外擴展NAS | Unified storage (File, Object, NFS, SMB) 統一儲存平台 (File, Object, NFS, SMB) | High-performance parallel file system (POSIX) 高效能平行檔案系統 (POSIX) |
| Use cases 應用場景 | AI/ML, HPC, financial analytics, life sciences AI/ML、HPC、金融分析、生命科學 | AI/ML workloads, data analytics, HPC AI/ML 工作負載、資料分析、HPC | AI and big-data analytics, enterprise file, backup targets AI 與大數據分析、企業檔案整合、備份目標 | AI/ML, analytics, media and entertainment, HPC, enterprise AI/ML、數據分析、媒體與娛樂、HPC、企業應用 | HPC, AI and ML, media and entertainment, life sciences, oil and gas HPC、AI & ML、媒體與娛樂、生命科學、石油天然氣 |
| Scale-out 水平擴充 | Yes — highly scalable 是，高度可擴充 | Yes — highly scalable 是，高度可擴充 | Yes — highly scalable 是，高度可擴充 | Yes — via disaggregated scale-out architecture 是，透過解耦式向外擴展架構實現 | Yes — highly scalable 是，高度可擴充 |
| Scale-up 垂直擴充 | Limited — depends on CPU performance 有限，取決於 CPU 效能 | Limited — depends on CPU performance 有限，取決於 CPU 效能 | Fixed disk count per node 每節點磁碟數量固定 | Unlimited — not CPU-bound, thanks to disaggregated architecture 無限擴充，不受 CPU 限制 — 歸功於解耦式架構 | Performance scales linearly as SSDs are added 隨著新增 SSD 線性提升效能 |
| Performance 效能數據 | 123 GiB/s (R), 37.6 GiB/s (W), 4M IOPS 123 GiB/s (R), 37.6 GiB/s (W), 4M IOPS | 115 GiB/s (R), 75 GiB/s (W), 3M IOPS 115 GiB/s (R), 75 GiB/s (W), 3M IOPS | 5.7 GiB/s (R), 4.6 GiB/s (W), 63K IOPS 5.7 GiB/s (R), 4.6 GiB/s (W), 63K IOPS | ~180 GiB/s (R), ~85 GiB/s (W), ~4M+ IOPS ~180 GiB/s (R), ~85 GiB/s (W), ~4M+ IOPS | 132 GiB/s (R), 83 GiB/s (W), 3M IOPS 132 GiB/s (R), 83 GiB/s (W), 3M IOPS |
| Cost 成本評估 | Highest 最高 | Higher 較高 | Higher 較高 | Expensive (long-term TCO optimized) 高昂 (但長期 TCO 已優化) | Competitive 具競爭力 |
| Minimum node configuration 最低節點配置 | Typically 8 nodes 通常為 8 個節點 | Typically 2–4 nodes 通常為 2-4 個節點 | Typically 4 nodes 通常為 4 個節點 | 2 D-boxes 2 個 D-box | Single node with integrated RAID protection and high availability 單一節點同時整合 RAID 保護與高可用性 |
| Cloud integration 雲端整合 | Supported 支援 Cloud bursting and remote snapshots 雲端爆發與遠端快照 | Not supported 不支援 | Not supported 不支援 | Supported 支援 Native AWS / GCP / Azure 原生 AWS/GCP/Azure | Supported 支援 BeeOND BeeOND |
| High availability 高可用性 | Erasure coding (EC) 抹除編碼 (EC) | Data replication 資料複製 | Erasure coding (EC), N+1 to N+4 nodes 抹除編碼 (EC)、N+1 至 N+4 節點 | Disaggregated architecture + N-path active routing 解耦式架構 + N 路徑主動路由 | Dual controllers + RAID cross-node failover 雙控制器 + RAID 跨節點故障轉移 |
| Snapshots 快照功能 | Supported 支援 Local and remote 本地與遠端 | Not supported 不支援 | Supported 支援 Local and remote 本地與遠端 | Supported 支援 Space-efficient, policy-driven 空間效率、原則導向 | Not supported 不支援 |
| Object storage (S3) 物件儲存 (S3) | Supported 支援 Integrated tiering 整合分層 | Not supported 不支援 | Supported 支援 | Supported 支援 Native multi-protocol support 原生多協定支援 | Supported 支援 |
| GPU Direct Storage (GDS) GPU Direct Storage (GDS) | Supported 支援 | Supported 支援 | Supported 支援 | Supported 支援 | Supported 支援 |
Ready to see Cache Server in action? 準備看 Cache Server 實機演示？
Talk with our team about a product walkthrough and how Cache Server fits your AI workload. 與我們討論產品示範，了解 Cache Server 如何配合您的 AI 工作負載。