사용자 요청이 에이전트에서 처리되기까지
사용자가 보낸 요청이 큐와 워커를 거쳐 처리되고, 결과가 다시 화면에 보이기까지
사용자 요청이 안전하게 기록돼 워커에서 처리되고, 결과가 브라우저에 다시 표시되기까지의 흐름과 장애 복구 기준을 설명합니다.
글 읽기 ↗토픽 / Knowledge hub
모델, 도구, 메모리, 계획과 피드백을 결합한 작업 시스템을 다룹니다.
Foundation / 기본 개념
사용자가 보낸 요청이 큐와 워커를 거쳐 처리되고, 결과가 다시 화면에 보이기까지
사용자 요청이 안전하게 기록돼 워커에서 처리되고, 결과가 브라우저에 다시 표시되기까지의 흐름과 장애 복구 기준을 설명합니다.
글 읽기 ↗전달된 작업과 완료된 작업을 구분하고, 죽은 consumer의 pending job을 안전하게 회수하는 법
Redis Streams consumer group으로 Agent job을 분배하고, PEL·XACK·XAUTOCLAIM·재시도 정책을 연결해 worker 장애 뒤에도 작업을 안전하게 복구하는 방법을 설명합니다.
글 읽기 ↗지속되는 대화와 한 번의 실행을 분리하고, tenant·user·session·run의 소유권을 지키는 법
Agent backend에서 tenant, user, session, run을 분리하고 객체 단위 권한검사와 동시 실행 제약으로 여러 사용자의 대화 state를 안전하게 격리하는 방법을 설명합니다.
글 읽기 ↗Child Run의 수명 주기, 격리된 state와 부분 실패를 하나의 실행 트리로 다루는 법
Multi-agent 실행을 durable parent-child run hierarchy로 모델링하고 fan-out, fan-in, context isolation, 부분 실패와 budget·cancellation 전파를 설계합니다.
글 읽기 ↗거대한 자율 루프 대신, 경계가 분명한 제어 흐름을 조합하는 법
도구 호출, 병렬 실행, 계획, 승인, 재시도, 품질 개선을 Python 제어 흐름으로 설명하고 LLM과 코드의 책임을 나눕니다.
글 읽기 ↗Graph state와 애플리케이션 state를 분리해 worker, Redis, DB, 브라우저의 책임을 설계하는 법
LangGraph의 graph.astream(), updates, custom, reducer와 checkpoint를 살펴보고 Agent runtime과 backend 아키텍처의 경계를 구분합니다.
글 읽기 ↗Async generator로 snapshot과 event를 HTTP 연결에 안전하게 흘려보내는 법
Iterator와 async generator부터 SSE framing, Redis Stream replay, heartbeat, 연결 해제, backpressure까지 Agent streaming endpoint를 구현합니다.
글 읽기 ↗송금 Tool을 두 번 실행하지 않기 위해 사용자 의도와 실행 결과를 연결하는 법
송금과 결제처럼 부수 효과가 있는 Agent Tool에서 사용자 승인, action fingerprint, idempotency key, queue 재전달과 불명확한 실행 결과를 안전하게 처리하는 방법을 설명합니다.
글 읽기 ↗Snapshot으로 화면을 복원하고 timeline과 cursor로 놓친 변화를 안전하게 되돌리는 법
Agent Run 화면에서 현재 State와 Event timeline을 함께 배치하고, Bootstrap·SSE·cursor replay·Snapshot resync로 재연결을 안전하게 구현합니다.
글 읽기 ↗영속 기록, 실시간 투영, 재개용 snapshot은 각기 다른 장애 상황에 대비한다
Agent State를 Durable Run Record, Hot Projection, Execution Checkpoint, Process-local State로 나누고 장애와 복구 요구사항을 기준으로 저장 위치를 결정합니다.
글 읽기 ↗동시성 도구와 실행 수명 주기의 책임을 구분하는 에이전트 백엔드 설계
Worker가 thread나 process의 다른 이름이 아닌 이유와 장시간 Agent run을 API 요청에서 queue와 worker로 넘기는 기준을 설명합니다.
글 읽기 ↗기다리는 작업, 블로킹 SDK, CPU 중심 계산에는 서로 다른 실행 도구가 필요하다
에이전트 백엔드의 작업 부하를 논블로킹 I/O, 블로킹 I/O, CPU 중심 계산으로 나누고 비동기·thread·프로세스의 선택 기준을 설명합니다.
글 읽기 ↗LLM·데이터베이스·검색 API의 대기 시간을 처리량으로 바꾸는 실행 모델
에이전트 백엔드에서 비동기가 필요한 이유를 블로킹, 코루틴, 태스크, 이벤트 루프, await와 구조화된 동시성을 통해 설명합니다.
글 읽기 ↗보안·데이터 통제·비용·성능을 기준으로 내부 오픈소스 LLM과 vLLM 도입을 판단하는 법
외부 API와의 비교, vLLM이 맞는 조건, PagedAttention·continuous batching·prefix caching이 사용자에게 주는 변화, 도입 체크리스트와 검증 단계.
글 읽기 ↗실행 구조의 책임 경계: 전체 관점, 실패 상황, 필요한 곳의 자세한 설명
에이전트 백엔드에서 API, queue, Worker, PostgreSQL, Redis, SSE가 맡는 책임과 연결 방식을 한 장 지도로 정리합니다.
글 읽기 ↗Agent Engineering과 Enterprise AX에서 풀어 온 문제, 투자와 수학에서 얻은 생각을 근거와 가정, 판단 과정까지 다시 검증할 수 있는 문서로 남기려는 이유.
글 읽기 ↗Research / 연구
한국 대기업의 AX 현장에서 반복되는 실패 양상과, AI 활용을 넘어 실제 전환으로 이어지기 위한 조건을 현업 경험을 바탕으로 정리한 글.
글 읽기 ↗RAG가 Agent가 될 때, AI 엔지니어링의 중심은 어떻게 이동하는가
필요한 정보를 찾는 검색 시스템에서 검증 가능한 업무 결과를 완성하는 시스템으로, AI 엔지니어링의 확장을 살펴본다.
글 읽기 ↗AI팀과 현업 중 누가 먼저 대체될까? 조직 전체보다 직무 안의 과업이 먼저 재배치된다는 관점에서 기업 AX의 다음 단계를 생각한다.
글 읽기 ↗범용 AI가 스위스 아미 나이프라면 기업의 AX는 특정 업무를 위해 칼을 새로 벼리는 일에 가깝다. 시장 정보 분석 사례로 자동화와 업무 재설계의 차이를 살펴본다.
글 읽기 ↗Implementation / 구현
증상·지표·가설·한 변수 실험으로 vLLM 서빙 병목을 좁히는 방법
TTFT, TPOT, queue, prefill, KV cache와 선점을 함께 읽어 vLLM 서빙 병목을 진단하는 실전 가이드.
글 읽기 ↗제한된 GPU에서 LLM을 안정적으로 서빙하는 방법
제한된 온프레미스 GPU에서 vLLM의 지연 시간·처리량·안정성 균형점을 찾는 방법을 정리한 글.
글 읽기 ↗Perspective / 관점과 노트
From a Dentist’s AI Stack to the Reinvention of Enterprises and Private Equity
AI가 소프트웨어·기술부채의 경제성을 바꿀 때, 도메인 전문가·조직 구조·중견기업·PE의 가치 창출 모델은 어떻게 달라질까.
글 읽기 ↗시장점유율 3위의 클라우드가 에이전트를 다음 진입점으로 삼는 방식
고객사 초청 Build with Gemini 행사에서 본 GCP의 에이전트 보안·거버넌스, Gemini Enterprise의 stickiness와 한국 시장의 distribution 과제.
글 읽기 ↗그럴듯한 데모에서 예측 가능한 시스템까지, 3개월의 실제 운영 학습
범용 에이전트 플랫폼을 실제 기업 환경에서 운영하며 배운 예측 가능성, 신뢰 부채, 운영 우선 추상화의 원칙을 정리한다.
글 읽기 ↗경로를 미리 그리는 일에서, 에이전트가 일할 환경과 경계를 설계하는 일로
멀티에이전트를 LangGraph로 구축한 경험을 바탕으로, 모델이 실행 경로를 만드는 시대에 그래프와 에이전트 런타임의 역할을 다시 나눈다.
글 읽기 ↗