vLLM이 느려졌을 때: TTFT·TPOT·KV cache로 병목을 진단하는 법
증상·지표·가설·한 변수 실험으로 vLLM 서빙 병목을 좁히는 방법
AI & AX / Subsection
AI Engineering
Research, foundations, and current analysis filed under AI Engineering.
↗
vLLM 튜닝이란 무엇인가?
제한된 GPU에서 LLM을 안정적으로 서빙하는 방법
왜 내부 GPU에서 vLLM으로 LLM을 서빙하는가?
보안·데이터 통제·비용·성능을 기준으로 내부 오픈소스 LLM과 vLLM 도입을 판단하는 법