에이전틱 AI, '잘'활용하려면 무엇이 필요할까요?

본 글은 McKinsey의 「Building the foundations for agentic AI at scale」을 참고해, 핵심 내용을 재구성한 글입니다. 원문은 McKinsey Technology와 QuantumBlack, AI by McKinsey가 2026년 4월 2일 발행했습니다.

많은 기업이 이제 생성형 AI를 넘어 에이전틱 AI(Agentic AI)를 실험하고 있습니다.
단순히 질문에 답하는 AI가 아니라, 여러 도구와 데이터를 활용해 업무를 판단하고 실행하는 AI로 나아가고 있는 것이죠.

하지만 흥미로운 점은 따로 있습니다.
McKinsey에 따르면 전 세계 기업의 약 3분의 2가 이미 AI 에이전트를 실험했지만, 실제 비즈니스 가치로 확장한 기업은 10% 미만에 그칩니다. 가장 큰 병목 중 하나는 기술 자체가 아니라 데이터의 한계입니다. 기업 10곳 중 8곳은 에이전틱 AI 확장의 장애물로 데이터 문제를 꼽고 있습니다.

즉, 에이전틱 AI의 성패는 “얼마나 똑똑한 모델을 쓰는가”보다
AI가 신뢰할 수 있는 데이터를 얼마나 안정적으로 이해하고 활용할 수 있는가에 달려 있습니다.

에이전틱 AI의 핵심은 결국 데이터다

기존 생성형 AI도 데이터 접근 권한, 추적성, 보안, 거버넌스가 중요했습니다.
하지만 에이전틱 AI에서는 이 요구사항이 훨씬 더 커집니다.

에이전트는 단순히 정보를 조회하는 데 그치지 않습니다.
여러 시스템을 오가며 데이터를 읽고, 판단하고, 도구를 호출하고, 때로는 실제 업무를 실행합니다. 여러 모델과 데이터 소스를 지속적으로 조율하기도 합니다. 이 과정이 사람의 수동 개입 없이 반복된다면, 데이터 품질과 접근 통제, 로그, 감사 가능성은 선택이 아니라 필수가 됩니다.

예를 들어 CRM 마케팅을 생각해보면 더 명확합니다.

AI 에이전트가 고객의 최근 행동, 구매 이력, 장바구니 정보, 캠페인 반응, 재고 정보, 할인 정책을 바탕으로 메시지를 제안하거나 발송한다고 해봅시다.
이때 데이터가 흩어져 있거나, 고객 상태 정의가 시스템마다 다르거나, 최신성이 보장되지 않는다면 에이전트는 그럴듯하지만 잘못된 판단을 하게 됩니다.

결국 에이전틱 AI는 “AI 기능”의 문제가 아니라,
업무 흐름 전체를 AI가 다룰 수 있도록 데이터와 시스템을 재설계하는 문제에 가깝습니다.

에이전틱 AI 확장을 위한 7가지 데이터 아키텍처 원칙

McKinsey는 에이전틱 AI를 확장하기 위해 필요한 데이터 아키텍처 원칙을 7가지로 정리합니다. 이를 조금 더 쉽게 풀어보면 다음과 같습니다.

이 원칙들의 공통점은 명확합니다.
에이전틱 AI는 단일 기능이 아니라 운영 체계에 가깝습니다. 따라서 데이터, 권한, 품질, 실행, 모니터링이 함께 설계되어야 합니다.

기업은 무엇부터 시작해야 할까?

McKinsey는 에이전틱 AI 전환을 위해 네 가지 단계를 제안합니다.

1. 에이전트화할 고임팩트 업무를 먼저 찾기

모든 업무를 한 번에 AI 에이전트로 바꾸려 하기보다,
가장 큰 효과를 낼 수 있는 핵심 워크플로우부터 찾아야 합니다.

예를 들어 마케팅 조직이라면 단순 콘텐츠 생성보다,
고객 세그먼트 분석 → 캠페인 기획 → 메시지 생성 → 발송 → 성과 해석까지 이어지는 반복 업무가 더 큰 후보가 될 수 있습니다.

중요한 것은 “AI를 어디에 붙일까?”가 아니라,
어떤 업무 흐름이 자율화되었을 때 비즈니스 성과가 가장 크게 달라지는가를 보는 것입니다.

2. 에이전트를 위한 데이터 아키텍처로 현대화하기

에이전틱 AI를 위해 모든 시스템을 처음부터 갈아엎을 필요는 없습니다.
다만 기존 데이터 구조가 에이전트가 이해하고 활용할 수 있는 형태인지 점검해야 합니다.

특히 중요한 것은 다음입니다.

• 고객 데이터가 여러 시스템에 흩어져 있지 않은가

• 이벤트, 속성, 상품, 주문 데이터의 정의가 일관적인가

• 비정형 데이터도 검색·해석 가능한 형태로 정리되어 있는가

• 에이전트가 접근할 수 있는 데이터와 접근하면 안 되는 데이터가 구분되어 있는가

• 데이터 사용 내역과 판단 과정이 추적 가능한가

McKinsey는 특히 시맨틱 레이어, 온톨로지, 지식 그래프의 중요성을 강조합니다.
이는 단순히 데이터를 저장하는 것을 넘어, 데이터가 비즈니스적으로 무엇을 의미하는지 기계가 이해할 수 있게 만드는 기반입니다.

3. 데이터 품질을 일회성 관리가 아니라 상시 관리로 바꾸기

에이전틱 AI 시대에는 데이터 품질 관리 방식도 바뀌어야 합니다.

기존에는 문제가 생기면 데이터를 정리하거나, 주기적으로 클렌징하는 방식이 많았습니다.
하지만 에이전트가 실시간으로 데이터를 읽고 판단하는 환경에서는 이런 방식만으로는 부족합니다.

데이터 품질은 지속적으로 검증되어야 합니다.
이상치 탐지, 자동 검증, 메타데이터 관리, 계보 추적, 비정형 데이터 태깅과 분류가 모두 중요해집니다.

특히 에이전트가 만들어내는 결과물도 새로운 데이터가 됩니다.
에이전트가 어떤 데이터를 조회했고, 어떤 판단을 했고, 어떤 액션을 실행했는지 역시 품질과 추적성의 대상이 되어야 합니다.

4. 운영 모델과 거버넌스를 함께 설계하기

에이전틱 AI를 확장하려면 기술뿐 아니라 조직의 운영 방식도 바뀌어야 합니다.

사람의 역할은 점점 “직접 실행자”에서
에이전트가 수행하는 업무를 감독하고 조율하는 역할로 이동합니다.

그렇기 때문에 다음 질문에 답할 수 있어야 합니다.

• 에이전트는 어떤 업무까지 자동으로 할 수 있는가?

• 어떤 순간에는 사람의 승인이 필요한가?

• 에이전트는 어떤 데이터에 접근할 수 있는가?

• 잘못된 판단이 발생했을 때 책임은 어디에 있는가?

• 에이전트의 행동 로그는 어떻게 남기고 검토할 것인가?

McKinsey는 에이전트가 기업의 기존 데이터 품질과 거버넌스 기준을 우회해서는 안 된다고 말합니다. 오히려 자율성이 커질수록 더 자동화되고 명확한 통제가 필요합니다.

CRM 마케팅 관점에서 보면 더 선명해지는 것

이 글의 메시지는 CRM 마케팅 영역에도 그대로 적용됩니다.

앞으로의 CRM은 단순히 캠페인을 세팅하고 발송하는 도구에서,
고객 데이터를 이해하고, 다음 액션을 판단하고, 실행까지 이어주는 에이전트형 시스템으로 진화할 가능성이 큽니다.

하지만 그 전제는 명확합니다.

AI 에이전트가 고객을 제대로 이해하려면
고객 데이터가 제대로 연결되어 있어야 합니다.

AI 에이전트가 메시지를 제대로 제안하려면
고객의 행동, 선호, 구매 맥락, 상품 정보가 일관된 의미로 정리되어 있어야 합니다.

AI 에이전트가 실행까지 맡으려면
권한, 승인, 로그, 성과 측정 체계가 함께 설계되어야 합니다.

결국 에이전틱 CRM의 경쟁력은 단순히 “AI 기능이 있는가”가 아니라,
AI가 신뢰할 수 있는 맥락을 바탕으로 실제 업무를 얼마나 안전하고 반복 가능하게 수행할 수 있는가에서 갈릴 것입니다.

마무리: 에이전틱 AI는 모델 경쟁이 아니라 기반 경쟁이다

에이전틱 AI는 많은 기업에게 새로운 기회입니다.
하지만 이 기회는 단순히 최신 모델을 도입한다고 잡을 수 있는 것이 아닙니다.

진짜 차이는 데이터 기반에서 만들어집니다.

좋은 데이터 구조, 명확한 의미 체계, 안정적인 접근 권한, 지속적인 품질 관리, 투명한 거버넌스가 갖춰진 기업만이 에이전틱 AI를 실험에서 실제 가치로 확장할 수 있습니다.

AI 에이전트 시대의 질문은 이제 이렇게 바뀌고 있습니다.

“우리도 AI를 도입할 것인가?”가 아니라,
“우리의 데이터와 업무 구조는 AI 에이전트가 일할 수 있을 만큼 준비되어 있는가?”

이 질문에 답하는 기업이 에이전틱 AI 시대의 실질적인 승자가 될 것입니다.

출처

McKinsey & Company, 「Building the foundations for agentic AI at scale」, April 2, 2026.
본 글은 해당 아티클의 핵심 내용을 바탕으로 재구성·요약한 콘텐츠입니다. 원문의 전체 내용과 상세한 도표는 McKinsey 원문에서 확인할 수 있습니다.