AI 아키텍처 기술 블로그

음성에서 인사이트까지: 실시간 STT·RAG로 만드는 실제 데이터 파이프라인

동반편인 기업 데이터 파이프라인 참조 아키텍처은 데이터웨어하우스에서 마케팅·고객 충성도까지 이어지는 기업 데이터 파이프라인을 범용 참조 아키텍처로 개관했습니다. 이 글은 같은 목표(데이터에서 얻은 인사이트를 업무와 고객 활용으로 잇기)를, 필자가 실제로 운영하는 AI 스택에 다시 정박해 “어떻게”를 다룹니다.원천 데이터는 정형 테이블이 아니라 음성·회의 미디어입니다. 이것을 실시간·배치 음성 인식 (Speech-to-Text, STT)으로 전사하고, 화자 분리 (Speaker Diarization)로 정제하고, 임베딩·벡터 데이터베이스에 색인해 검색 증강 생성 (Retrieval-Augmented Generation, RAG)으로 인사이트를 만듭니다. 그 인사이트를 업무로 연결하는 것이 이 파이프라인의 ..

RAG (Retrieval-Augmented Generation, 검색 증강 생성)는 사용자의 질문과 관련된 문서를 찾아 모델 Context에 넣습니다.이 과정에서 검색 품질만 생각하면 다음 흐름을 만들기 쉽습니다.전체 Vector Index 검색 → 관련도 높은 Chunk 선택 → 권한이 없는 결과 제거 → 남은 내용으로 답변하지만 권한이 없는 Chunk가 검색 후보와 중간 결과에 이미 포함됐다면 문제가 남습니다.Similarity Score를 통한 존재 추정검색 Log·Trace·Debug Result 노출Reranker·Cache·Model Context 유입잘못된 Post-filter 구현다른 Tenant Chunk가 Top-k를 차지해 정상 결과 누락Citation·Downloa..

검색 증강 생성 (Retrieval-Augmented Generation, RAG) 데모에서는 문서를 읽고 검색 단위 조각 (Chunk)으로 나눈 뒤 벡터 표현 (Embedding)을 저장하면 작업이 끝난 것처럼 보입니다.운영 환경에서는 같은 수집 작업이 반복됩니다.Worker가 Vector 저장 뒤 응답을 받기 전에 종료됩니다.Scheduler와 사용자의 수동 재처리가 동시에 실행됩니다.원본 문서가 수정됩니다.문서 해석기 (Parser) 또는 문서 분할기 (Chunker) 설정이 바뀝니다.Embedding 모델이 교체됩니다.삭제된 문서의 예전 Chunk가 검색됩니다.같은 파일이 다른 이름이나 경로로 다시 들어옵니다.이 상황에서 매 실행마다 새 UUID를 만들고 Vector Database에 insert..