AI 아키텍처 기술 블로그

앞선 두 글에서는 프라이빗 API를 호출하는 Java Server SDK의 모듈·전송 계층과, 이를 고객사 Spring Boot 애플리케이션에 연결하는 Starter를 설계했습니다.그러나 Client Bean이 정상 생성됐다는 사실만으로 운영 안정성이 보장되지는 않습니다. 프라이빗 망에서도 DNS 지연, TLS Handshake 실패, Gateway 과부하, Token 만료, 부분 응답, 연결 종료와 배포 중 순간 장애가 발생합니다. 이때 무제한 Timeout과 무분별한 재시도는 작은 장애를 전체 시스템의 자원 고갈로 확대할 수 있습니다.운영 가능한 Server SDK의 목표는 “모든 실패를 성공으로 바꾸는 것”이 아닙니다. 복구 가능한 실패만 제한된 예산 안에서 흡수하고, 복구할 수 없는 실패는 빠르고..

AI Agent에게 다음과 같이 요청했다고 가정해 보겠습니다.“지난 회의의 결정 사항을 찾아 후속 업무를 등록해 줘.”Agent는 한 문장을 여러 단계로 실행할 수 있습니다.사용자 요청 → 회의 검색 → 녹취록·요약 조회 → 업무 후보 생성 → 사용자 승인 → 업무 생성 Tool 호출 → Database Commit → 외부 알림 발송운영 중 문제가 생기면 단순한 Application Log만으로는 다음 질문에 답하기 어렵습니다.실제 사용자는 누구였는가?어느 Agent와 Service가 대신 실행했는가?어떤 정책 Version이 Tool 호출을 허용했는가?승인한 내용과 실제 실행 인자가 같았는가?Tool이 성공 응답만..

회의 음성 파일을 업로드했습니다.잠시 후 녹취록은 정상적으로 생성됐지만 AI 요약은 계속 나타나지 않습니다.이 상황에서 가장 먼저 떠올리기 쉬운 결론은 다음과 같습니다.“STT는 성공했으니 파일에는 문제가 없다.”“요약 모델이 실패한 것 같다.”하지만 두 문장 모두 아직 입증되지 않은 가설입니다.실제 회의 처리 시스템에서 STT (Speech-to-Text, 음성 인식)와 AI 요약은 하나의 함수가 아니라 서로 다른 입력·실행 환경·상태·저장소를 가진 단계입니다.Media Upload → STT → Transcript Finalization → Summary Request → Queue → Summary Worker → LLM Provider → Result Store → Read APIS..