オープンソースLLM（Llama 3やMistralなど）を自前でホストする際、最大のボトルネックは「GPU VRAM」の枯渇です。特に推論時、入力テキストが増えるほどKVキャッシュ（Key-Value Cache）がメモリを占有し、一度に処理できるユーザー数（スループット）が劇的に低下します。従来の推論エンジンでは、メモリを連続した領域として確保するため、実際には使われていない「メモリの断…