Series / Agent Engineering / Applied Track
Inference Serving · vLLM
내부 GPU에서 vLLM으로 LLM을 서빙하는 이유, 튜닝, 성능 진단까지 이어지는 선택형 실전 경로입니다.
- 01
왜 내부 GPU에서 vLLM으로 LLM을 서빙하는가?
보안·데이터 통제·비용·성능을 기준으로 내부 오픈소스 LLM과 vLLM 도입을 판단하는 법
외부 API와의 비교, vLLM이 맞는 조건, PagedAttention·continuous batching·prefix caching이 사용자에게 주는 변화, 도입 체크리스트와 검증 단계.
- 02
- 03
vLLM이 느려졌을 때: TTFT·TPOT·KV cache로 병목을 진단하는 법
증상·지표·가설·한 변수 실험으로 vLLM 서빙 병목을 좁히는 방법
TTFT, TPOT, queue, prefill, KV cache와 선점을 함께 읽어 vLLM 서빙 병목을 진단하는 실전 가이드.