AX의 Missing Piece: Conversational Intelligence

"2026년 현재, AI 파일럿의 95%는 측정 가능한 수익 효과를 내지 못한다."

- MIT NANDA, State of AI in Business 2025

월요일 아침, 대시보드에 알림이 하나 뜹니다.

"A사 PoC 사용량이 7일간 30% 감소했습니다."

CS 에이전트가 자동으로 대응안을 생성합니다. "할인을 제안하세요."

담당자는 웃습니다. 2주 전 A사와 함께 한 PoC 미팅에서 A사 CTO가 남겼던 피드백을 기억하고 있기 때문입니다.

"저희 팀에서 에이전트들과 연동하기 위해서는 API가 잘 동작해야하는데, API 연동에서 어려움을 겪고 있다보니 제대로 서비스를 사용하고 있지 못합니다. 보안팀 승인도 아직이고요."

가격 문제가 아니었습니다. 연동 병목이었습니다. 이 상황에서 할인을 보내는 건, 오히려 "이 회사가 우리 상황을 모르는구나"라는 신호가 됩니다. 담당자는 결국 에이전트의 제안을 무시하고 직접 이메일을 씁니다. 기술 지원 미팅을 잡고, PoC 기간을 연장하고, 연동 가이드를 첨부합니다.

에이전트는 틀렸습니다. 그런데 이것을 에이전트의 잘못으로 돌리기는 어렵습니다. 담당자가 A사 CTO와 진행한 가장 중요한 대화 기록에 에이전트는 접근할 수 없었기 때문입니다.

같은 장면을 한 번 더 돌려보겠습니다.

에이전트가 알림을 받습니다. 이번에는 다릅니다. A사와 진행한 최근 미팅 3건의 전사 기록을 먼저 검색합니다. "API 연동에서 어려움을 겪고 있어 서비스를 제대로 사용하지 못하고 있다"는 CTO의 발언을 찾아냅니다. 보안팀 승인이 아직 완료되지 않았다는 사실도 함께 포착합니다. 이메일 답장 간격이 늘어나고 있다는 패턴까지 감지한 뒤, 에이전트의 판단이 나옵니다.

"핵심 병목은 API 연동 복잡성과 보안 승인 지연. 기술 지원 미팅 설정, PoC 기간 연장, 연동 가이드 전달을 권장함."

이제 담당자는 해당 판단을 기반으로 에이전트가 작성한 이메일 초안을 검토하고 “보내기”를 누릅니다.

두 장면의 차이는 모델이 아닙니다. 모델은 변하지 않았습니다. 오히려 시간이 지나면 지날수록 더 저렴해지고, 더 좋아집니다. 유일한 차이는 에이전트가 그 미팅을 알고 있었느냐 입니다.

왜 에이전트는 몰랐나

1편에서 저는 AX가 5개 레이어로 이루어져 있다는 이야기를 했습니다. 그리고 대부분의 기업이 뒷쪽 레이어, 즉 AI Model과 Agentic Workflow와 User Interface에만 투자하고, 앞쪽의 Context Source와 Ontology는 비워둔다는 점을 짚었습니다. 위 장면은 그 공백이 실제로 어떤 비용으로 돌아오는지 보여줍니다.

많은 기업이 AX를 시작할 때 먼저 각종 업무 도구를 커넥터로 잇는 일부터 합니다. 문서 도구, 이슈 트래킹 도구, CRM, 메신저만 잘 연결해 두면 AI가 회사를 이해할 거라고 믿습니다.

하지만, 문서 도구는 “무엇이 결정되었는가”만을 담고, 정작 그 결정에 이르게 한 토론의 대부분은 담지 않습니다. 이슈 트래킹 도구는 “어떤 태스크가 있는가”를 보여주지만, 왜 이 태스크가 다른 것보다 우선시되었는지는 보여주지 않습니다. CRM은 고객이 어느 단계에 있는지를 표시하지만, 왜 그 고객이 주저하고 있는지는 설명하지 않습니다.

지금의 커넥터가 수집하는 것은 의사결정의 결과물(outcome)입니다. 그 결정에 이르는 과정(process)은 수집하지 못합니다. 그리고 그 과정에 대한 기록은 중요한 대화 상황, 미팅 상황에서 90% 이상 소실됩니다.

"잠깐, 우리도 회의록 AI 쓰고 있는데요."

이미 쓰고 계실 가능성이 큽니다. 하지만 그 AI 회의록이 앞의 장면에서 에이전트를 정말 도와줄 수 있었을까요? 대부분의 AI 회의록은 사람이 읽을 요약본을 만듭니다. 에이전트가 검색하고 추론에 쓸 수 있는 형태로는 만들어지지 않습니다.

전사(transcription)는 기록일 뿐입니다. 맥락은 아닙니다. 음성이 텍스트가 된 뒤에도, 에이전트가 쓸 수 있으려면 몇 층의 변환이 더 필요합니다. 화자가 분리되어야 하고, 주제별로 묶여야 하고, 의사결정과 액션 아이템이 추출되어야 합니다. 참여자·회의 ID·날짜 같은 메타데이터가 붙어야 하고, 마지막으로 검색 가능한 벡터로 저장되어야 합니다. 이 파이프라인의 끝에서야 비로소 우리는 그것을 LLM-Ready Data라고 부를 수 있습니다.

AI 회의록이 한 사람의 시간을 덜어주는 생산성 도구라면, Conversation Intelligence는 조직의 AI 시스템 전체에 연료를 공급하는 인프라입니다. 전자는 개인의 편의이고, 후자는 조직의 자산입니다. 같은 음성 파일에서 출발해도, 어디까지 변환하느냐에 따라 완전히 다른 카테고리가 됩니다.

95%가 실패하는 진짜 이유

MIT NANDA 연구팀이 300건이 넘는 기업 AI 프로젝트를 분석했을 때, 실패한 프로젝트들에는 공통된 한 가지 이유가 있었습니다. 바로 AI가 조직의 워크플로우로부터 학습하지 못했고, 그 흐름에 맞게 적응하지 못했다는 점입니다.

이 진단은 업계에서 쓰이는 언어의 변화와도 맞물립니다. ChatGPT의 등장과 함께 대두되었던 개념인 prompt engineering은 어느새 context engineering으로 바뀌었습니다. 실제로 가치를 창출하기 위해 초점을 맞추어야 하는 영역이 바뀐 것입니다. OpenAI 공동 창업자 Andrej Karpathy는 이렇게 말합니다. “사실 핵심 기술은 컨텍스트 윈도우를 다음 단계에 필요한 ‘딱 맞는 정보’로 채우는 일이다.”

LLM의 성능을 가르는 것은 모델 그 자체가 아니라, 그 모델에게 무엇을 보여주느냐입니다. 그리고 “무엇을 보여주느냐”는 순수 기술 문제이기 전에 조직과 워크플로우의 문제이기도 합니다.

AX의 95%가 실패한다는 연구 결과와 이 장면 사이 거리는 생각보다 가깝습니다. 지금 실패하고 있는 많은 AX 이니셔티브에서 예산의 대부분은 모델, 에이전트, UI에 집중되어 있습니다. 정작 문제는 그 아래, “무엇을 보여주느냐”를 결정하는 컨텍스트 레이어에 있을지 모릅니다.

한국어 회의에서는 왜 더 어려운가

여기까지 읽으시고 “그러면 범용 도구로 회의만 잘 기록하면 되지 않나”라고 생각하실 수 있습니다.

현실은 조금 다릅니다. 현재 가장 널리 쓰이는 음성 인식 모델의 영어 오류율은 약 4%, 같은 모델의 한국어 오류율은 약 14% 수준입니다. 비즈니스 회의에서는 이 격차가 치명적일 수 있습니다. 100단어 중 14개가 틀린다면, 그 안에는 담당자 이름이나 결정된 금액이 들어 있을 수 있습니다. 그 순간 그 회의록은 진실의 원천이 아니라 오류의 원천이 됩니다.

규제도 있습니다. 한국의 개인정보보호법은 음성 데이터를 민감정보로 볼 여지가 크며, 공공기관용 CSAP 인증은 해외 SaaS 벤더에게 사실상 진입 장벽으로 작용합니다. 일본 금융권 규제도 비슷한 결을 가지고 있습니다. 엔터프라이즈 AX에서는 기술 성능과 데이터 주권을 떼어 놓고 생각하기 어렵습니다.

티로(Tiro)는 이 문제들을 해결하기 위해 설계되었습니다. 한국어와 일본어를 포함한 15개 언어를 지원하고, AES-256 저장 암호화와 TLS 1.3 전송, AWS KMS 관리 키를 기본값으로 탑재했습니다. 전사 직후 원본 음성은 삭제되며, 제3자 AI 공급자가 음성 데이터를 학습에 사용하는 것을 계약으로 차단합니다.

설계의 출발점은 하나의 질문이었습니다. “대화가 조직의 Source of Truth로 서려면 무엇이 필요한가.” 여기서 티로가 세웠던 기준은 이 3가지였습니다.

• 어떤 언어로 대화하든지, 전사가 충분히 정확해야 하고

• 보안이 견고해야 하며

• 출력물이 에이전트가 바로 읽을 수 있는 구조화된 형태로 공급되어야 한다는 것

AI 회의록 카테고리에서 “정확성”은 보통 “얼마나 잘 요약하는가”의 문제로 다뤄집니다. Conversation Intelligence의 문제 틀은 조금 다릅니다. “이 기록이 조직의 진실로 받아들여지기 위해서는 어느 수준의 오류율까지 감당할 수 있는가” 그리고 “이 기록을 얼마나 구조화된 형태로 활용 가능하게 제공할 수 있는가”의 문제입니다. 이 관점의 차이가 제품의 설계를 결정짓습니다.

FAQ

Conversation Intelligence와 AI 회의록은 무엇이 다른가요?

AI 회의록은 개인의 시간을 절약하는 생산성 도구입니다. Conversation Intelligence는 대화에서 추출된 데이터를 에이전트·CRM·RAG 등 다른 AI 시스템이 쓸 수 있는 구조화된 자산으로 만드는 인프라입니다. 같은 음성 파일에서 출발해도, 어디까지 변환하느냐가 카테고리를 가릅니다.

단순 전사로는 왜 부족한가요?

전사는 음성을 텍스트로 바꾸는 작업일 뿐입니다. 에이전트가 이 기록을 실제로 쓰려면 화자 분리, 주제 세그멘테이션, 의사결정 추출, 메타데이터 첨부, 임베딩 생성이 뒤따라야 합니다. 맥락 정보가 빠진 텍스트 청크는 검색은 되어도 활용되지 않습니다.

해외 범용 도구로 한국어 회의를 처리하면 어떤 문제가 있나요?

정확도와 규제 두 축에서 문제가 생깁니다. 범용 모델의 한국어 오류율은 영어 대비 약 3배 높고, 이 격차는 고유명사와 숫자가 많은 비즈니스 회의에서 특히 치명적입니다. 여기에 개인정보보호법, CSAP, 금융권 망분리 같은 규제가 더해지면 해외 SaaS 벤더의 실질적 도입은 어려워집니다.

시작하기