オープンソースLLM（Llama 3やMistralなど）を自前でホストする際、最大のボトルネックは「GPU VRAM」の枯渇です。特に推論時、入力テキストが増えるほどKVキャッシュ（Key-Value Cache）がメモリを占有し、一度に処理できるユーザー数（スループット）が劇的に低下します…