AI 아키텍처 기술 블로그

음성에서 인사이트까지: 실시간 STT·RAG로 만드는 실제 데이터 파이프라인

동반편인 기업 데이터 파이프라인 참조 아키텍처은 데이터웨어하우스에서 마케팅·고객 충성도까지 이어지는 기업 데이터 파이프라인을 범용 참조 아키텍처로 개관했습니다. 이 글은 같은 목표(데이터에서 얻은 인사이트를 업무와 고객 활용으로 잇기)를, 필자가 실제로 운영하는 AI 스택에 다시 정박해 “어떻게”를 다룹니다.원천 데이터는 정형 테이블이 아니라 음성·회의 미디어입니다. 이것을 실시간·배치 음성 인식 (Speech-to-Text, STT)으로 전사하고, 화자 분리 (Speaker Diarization)로 정제하고, 임베딩·벡터 데이터베이스에 색인해 검색 증강 생성 (Retrieval-Augmented Generation, RAG)으로 인사이트를 만듭니다. 그 인사이트를 업무로 연결하는 것이 이 파이프라인의 ..

AI 에이전트에게 지식을 주는 방법은 하나가 아닙니다. 사내 회의 녹취를 검색 가능한 지식으로 만드는 파이프라인은 이전 글에서 다뤘습니다(회의 오디오 → RAG). 이 글은 성격이 전혀 다른 지식원, 즉 공개 웹 문서를 대상으로 한 검색 증강 생성 (Retrieval-Augmented Generation, RAG)을 다룹니다.이 글은 구현 회고가 아니라 설계 가이드입니다. 아래에 나오는 코드는 대부분 개념을 보여주기 위한 개념 코드이며, 특정 버전·실행 환경에서 측정한 검색 품질·성능 수치를 제시하지는 않습니다. 대신 "공개 웹을 지식원으로 붙일 때 무엇을 어떻게 결정해야 하는가"에 대한 설계 지침에 집중합니다.제안하는 파이프라인의 골격은 이렇습니다. 공개 웹 페이지를 수집(Crawl)하고, 본문을 추출..

검색 증강 생성 (Retrieval-Augmented Generation, RAG)에서 청킹 (Chunking, 문서를 검색 단위 조각으로 나누는 작업)은 가장 눈에 띄지 않으면서도 검색 품질에 큰 영향을 주는 단계입니다. 물론 파싱 품질, 원문 데이터, 임베딩, 질의 변환, 하이브리드 검색, 재순위화도 검색 품질을 좌우합니다. 다만 경계에서 손실된 문맥은 후단 검색기만으로 보완하기 어렵다는 점에서, 애초에 어떤 경계로 문서를 잘랐는지는 임베딩 (Embedding) 모델 선택과 함께 설계하되 검색기 (Retriever) 튜닝보다는 먼저 검증해야 하는 결정입니다.영어 중심 자료의 청킹 예제는 대부분 마침표와 공백으로 문장을 나누고 고정 토큰 수로 자르는 방식을 전제합니다. 한국어는 교착어 (Agglutin..

검색 증강 생성 (Retrieval-Augmented Generation, RAG) 데모에서는 문서를 읽고 검색 단위 조각 (Chunk)으로 나눈 뒤 벡터 표현 (Embedding)을 저장하면 작업이 끝난 것처럼 보입니다.운영 환경에서는 같은 수집 작업이 반복됩니다.Worker가 Vector 저장 뒤 응답을 받기 전에 종료됩니다.Scheduler와 사용자의 수동 재처리가 동시에 실행됩니다.원본 문서가 수정됩니다.문서 해석기 (Parser) 또는 문서 분할기 (Chunker) 설정이 바뀝니다.Embedding 모델이 교체됩니다.삭제된 문서의 예전 Chunk가 검색됩니다.같은 파일이 다른 이름이나 경로로 다시 들어옵니다.이 상황에서 매 실행마다 새 UUID를 만들고 Vector Database에 insert..

회의를 녹음하고 AI 요약을 생성하는 것만으로 회의 데이터가 조직의 지식이 되지는 않습니다.요약 문서는 회의 직후 내용을 빠르게 파악하는 데 유용하지만, 시간이 지나면 다시 찾기 어렵습니다. “지난 분기에 인증 방식 변경을 결정한 회의가 언제였지?”, “담당자가 이번 달까지 처리하기로 한 업무는 무엇이었지?” 같은 질문에 답하려면 여러 회의의 녹취록과 결정사항을 검색할 수 있어야 합니다.검색 결과가 실제 업무 시스템과 분리돼 있으면 사용자에게 또 다른 수작업이 생깁니다. 관련 회의를 찾은 뒤 이슈 관리 시스템을 열고, 담당자와 기한을 다시 입력해야 하기 때문입니다.회의 음성을 업무 자산으로 바꾸는 전체 흐름은 다음처럼 볼 수 있습니다.회의 음성 ↓STT·화자·시간 정보 ↓녹취록 정규화 ↓요약·..