AI 아키텍처 기술 블로그

앞선 두 글에서는 프라이빗 API를 호출하는 Java Server SDK의 모듈·전송 계층과, 이를 고객사 Spring Boot 애플리케이션에 연결하는 Starter를 설계했습니다.그러나 Client Bean이 정상 생성됐다는 사실만으로 운영 안정성이 보장되지는 않습니다. 프라이빗 망에서도 DNS 지연, TLS Handshake 실패, Gateway 과부하, Token 만료, 부분 응답, 연결 종료와 배포 중 순간 장애가 발생합니다. 이때 무제한 Timeout과 무분별한 재시도는 작은 장애를 전체 시스템의 자원 고갈로 확대할 수 있습니다.운영 가능한 Server SDK의 목표는 “모든 실패를 성공으로 바꾸는 것”이 아닙니다. 복구 가능한 실패만 제한된 예산 안에서 흡수하고, 복구할 수 없는 실패는 빠르고..

운영 가능한 AI Agent 만들기: Checkpoint, Retry, Idempotency와 OutboxAI Agent 데모는 질문을 받고 LLM을 호출한 뒤 Tool 결과를 보여 주면 완성된 것처럼 보입니다. 운영 환경에서는 그 사이에 훨씬 많은 일이 생깁니다.모델 응답이 늦어집니다.외부 API가 429 또는 503을 반환합니다.Tool 호출은 성공했지만 응답을 받기 전에 연결이 끊깁니다.Worker가 재시작됩니다.사용자의 승인이 몇 시간 뒤 도착합니다.재개된 Workflow가 같은 업무를 다시 실행합니다.데이터 저장은 성공했지만 후속 이벤트 발행은 실패합니다.이 문제를 단순한 try/catch와 무제한 재시도로 처리하면 중복 이슈, 중복 알림, 이중 결제와 잘못된 상태 전이가 발생할 수 있습니다.운..