RAGの応答遅延：HNSWパラメータ調整と軽量Rerankerでレイテンシを半減させる実装
RAG（検索拡張生成）システムにおいて、ユーザーが質問してから回答が返ってくるまでに「5秒以上」待たせていませんか？LLMの生成速度も要因の一つですが、実運用で最もボトルネックになりやすいのは、実は 「過剰な精度を求めたベクトル検索」と「重すぎるリランキング処理」 です。数百万件規模のドキュメン…
RAG Lento: Ajuste de HNSW y Re-ranking para bajar la latencia un 80%
Hace unas semanas, un pipeline de RAG (Retrieval-Augmented Generation) en producción comenzó a mostrar tiempos de respuesta inaceptables. Con una b…
쿠버네티스 OOMKilled 해결: Go pprof 메모리 누수 분석 및 최적화
운영 중인 파드(Pod)가 별다른 로그 없이 Restart 횟수만 늘어가고, kubectl describe pod 명령어로 확인했을 때 Exit Code 137 (OOMKilled) 가 찍혀 있다면, 이는 애플리케이션이 할당된 메모리 한계(Limit)를 초과했음…
Debugging Kubernetes OOMKilled in Go: Memory Leaks & pprof
There is nothing more frustrating than waking up to a PagerDuty alert because your pods are stuck in a CrashLoopBackOff . You check the logs, but th…