#推論エンジン

3つのアテンション融合：SGLangのハイブリッドモデル用プレフィックスキャッシュ方式

Unified Radix CacheはFULL、SWA、Mambaという3つの再利用ルールを1本のradix treeにまとめ、HiCacheがコンポーネントをL3まで延伸する。L3ヒット率は98%、Python→Rustで末尾ターンのTTFTを42%削減。