수백억 원을 투자한 AI가 왜 같은 실수를 반복할까?

왜 기업은 데이터를 더 모을수록 오히려 결정이 느려질까?

온톨로지는 데이터를 연결하는 기술이 아니라,

기업의 상식과 판단 기준을 구조로 고정하는 방법이다.

사람이 바뀌어도, 시장이 흔들려도,

의사결정의 기준이 유지되도록 만드는 판단의 운영체제다.

AI와 데이터에 천문학적인 자본을 쏟아붓고도 경영진의 의사결정은 조금도 쉬워지지 않았다. 수많은 대시보드와 정교한 예측 모델이 실시간으로 돌아가지만, 정작 치명적인 판단 오류는 계속해서 반복된다. 오히려 데이터에 가장 많이 투자한 기업일수록 자동화된 오판으로 인한 실수의 대가가 즉각적으로 번지는 '데이터 비용의 함정'에 빠져 있다.

진짜 원인은 데이터의 부족이 아니라, 데이터를 입체적으로 이해하는 '구조'의 부재다. 인류는 오랫동안 데이터를 행과 열로 이루어진 2차원의 표(Table)와 엑셀의 감옥에 가두어왔다. 표는 "지난달 매출은 얼마인가?"라는 결과에는 답하지만, 사건의 맥락과 원인, 관계의 흐름은 담아내지 못한다. 기업의 3대 핵심 시스템 역시 마찬가지다. ERP는 돈과 계획을 말하고, MES는 공장의 사실을 기록하며, SCM은 회사 밖의 시간을 다루지만, 이들은 철저히 분리된 사일로(Silo) 속에서 하나의 이야기로 연결되지 않는다. 결국 데이터는 넘쳐나도 판단은 느려지고, 결정은 다시 리더의 직관과 타협으로 돌아가는 악순환이 발생하는 것이다.

이에 대한 해법은 더 크고 복잡한 알고리즘을 도입하는 것이 아니다. 기술의 추가가 아닌, 기업이 세상을 해석하는 관점의 전환, 즉 '온톨로지(Ontology)'적 사고가 필요하다. 온톨로지는 단순한 데이터 모델링 기술이 아니다. 기업을 구성하는 객체(사람, 설비, 자본)와 그들 사이의 관계, 그리고 제약 조건을 컴퓨터가 이해할 수 있는 형태로 고정하는 '의사결정의 운영체제(OS)'다. 빅데이터가 과거의 상관관계를 기록하는 데 그쳤다면, 온톨로지는 "이 데이터가 왜 중요한지, 무엇과 연결되어 있으며, 어떤 행동으로 이어져야 하는지"를 명확히 정의한다.

생성형 AI 시대에도 온톨로지의 가치는 절대적이다. 기업의 실제 제약 조건과 인과관계를 모르는 언어 모델(LLM) 단독으로는 그저 그럴듯하게 말을 잘하는 비서에 불과하다. 인간의 상식과 업무 규칙이 온톨로지로 구조화되고 여기에 시뮬레이션이 결합될 때, AI는 비로소 책임 있는 선택지를 제안하는 '판단하는 AI(Decisive AI)'로 진화한다.

이러한 깊이 있는 통찰은 개발자나 데이터 과학자가 아닌, 기업의 생존 방향을 결정해야 하는 최고경영자와 숫자 이면의 지배 구조를 읽어내야 하는 투자자들을 정조준한다. 코드를 설명하는 대신, 가상의 레스토랑 '벨라로마' 실험부터 글로벌 대기업의 사례까지 생생한 비즈니스 현장을 통해 기술이 아닌 경영 철학으로서의 온톨로지를 역설한다. 나아가 온톨로지가 어떻게 경쟁사가 돈을 퍼부어도 모방할 수 없는 '절대적 해자(Moat)'가 되는지, 그리고 파편화된 데이터 관리 기업(A형 기업)과 지능형 온톨로지 기업(B형 기업)의 가치 차이가 재무제표에 어떻게 은밀히 반영되는지를 철저하게 해부한다.

데이터의 단순한 양이 승패를 가르던 시대는 끝났다. 앞으로의 경쟁력은 데이터가 얼마나 촘촘하고 의미 있게 얽혀 있는지, 그 '연결의 깊이'가 승자를 결정한다. 무질서한 데이터의 홍수 속에서 틀리지 않는 판단을 반복할 수 있는 구조를 선점하고 싶은 리더라면, 지금 당장 온톨로지라는 새로운 권력의 지도에 주목해야 할 것이다.

■ 목차

프롤로그_수백억을 들인 AI가 왜 멍청한 실수를 반복할까?
- 데이터에 투자했지만, 판단에 실패한 기업들의 공통점
- 데이터 비용의 함정
- 이 책이 말하려는 단 하나의 것
- 이 책을 읽게 될 당신에게
- 감사의 말씀

1부 데이터 아키텍처의 한계 : 엑셀은 회사를 이해하지 못한다
우리는 왜 항상 비슷한 실수를 반복하는가
데이터 Data의 어원은 “주어진 것 the given”
기업의 3대 핵심 시스템
데이터 사일로 : 옆 부서의 데이터는 왜 항상 남의 이야기인가
빅데이터 Bigdata는 왜 우리를 배신했는가
엑셀은 왜 회사를 이해하지 못하는가
데이터는 '주어진 것'이고, 온톨로지는 '존재하게 만드는 구조'다
'인공지능'의 반대말은 '인간지능'이다
왜 우리는 숫자를 보고도 '이유'를 모를까 - 온톨로지가 필요한 진짜 이유
사실 Fact과 해석 Interpretation의 분리
왜 지금, 다시 온톨로지인가
1부의 핵심 메시지

2부 온톨로지 컴퓨터에게 '상식'을 가르치다
그동안의 AI 모델과 시스템이 지녔던 한계
새로운 온톨로지 구조의 필요성에 대한 의구심 시작점
생성 AI 이후, 온톨로지가 다시 뜨는 이유
온톨로지의 3계층 구조와 새로운 성공 방정식
수학은 이미 온톨로지를 가르쳐 주고 있었다
컴퓨터는 왜 항상 '말귀'를 못 알아들을까
이탈리안 레스토랑 '벨라로마 Bella Roma' 실험 
작은 식당 하나가 보여준 온톨로지의 진짜 힘
제조 공장의 온톨로지 설계도
RAG Retrieval-Augmented Generation는 왜 계속 불만을 낳는가
그래프 RAG vs 벡터 RAG 비교
온톨로지와 그래프 RAG는 무엇이 다른가
온톨로지는 용도에 따른 저장 구조 선택이 중요
시간을 사건의 흐름으로 모델링해야 미래를 예측할 수 있다
에이전틱 AI가 법률 온톨로지를 다시 요구하는 이유
팔란티어 온톨로지 작동 원리
이질적인 모든 데이터를 하나의 '지도'로 통합하는 방식
팔란티어 파운드리 Foundry 무료 공개가 의미하는 것
국가와 공공이 먼저 온톨로지를 선택한 이유
2부의 핵심 메시지

3부 투자자의 눈 : 온톨로지가 곧 '권력'이다
절대적 해자 Moat : 왜 온톨로지는 따라 할 수 없는가
온톨로지 기술의 해자 조성 과정
회사는 숫자가 아니라 '가정 Assumption' 위에서 운영된다
이탈리안 레스토랑 '벨라로마 Bella Roma' 의 해자
국내에서 팔란티어 도입 및 협력한 주요 기업들
Lock-in 효과의 실체 : 왜 이 기업은 시스템을 못 바꾸는가
어느새 시스템 안에 들어가 있는 '회사 자신'
팔란티어 고객이 절대 이탈하지 않는 진짜 이유
온톨로지 락인은 어떻게 재무 지표로 드러나는가
재무제표에 나타나지 않는 락인의 전조 신호들
팔란티어 도입 이후, 기업의 재무제표는 어떻게 달라졌는가
A형 기업(데이터 관리 기업) vs B형 기업(온톨로지 기업)
CEO 온톨로지 체크리스트
투자자의 온톨로지 체크리스트 활용법
B형 기업(온톨로지 기업) 가치 평가
위기 대응 재무 시나리오 Before & After
팔란티어를 이해하면 미래의 B형 기업이 보인다
3부의 핵심 메시지

4부 리더의 실행 : 당신의 기업을 '지능형'으로 바꾸는 법
전략적 접근 : 거대한 데이터 댐을 만들지 말고, '관계'부터 연결하라
왜 개발자가 아니라 '현업의 전문가'가 온톨로지 설계의 주체가 되어야 하는가
CEO가 온톨로지 시스템 구축을 주도해야 하는 이유
의사결정은 계산이 아니라 '제약 조건의 선택'이다
온톨로지 도입을 주저하는 CEO의 5가지 착각
조직에 온톨로지를 심는 사람들 – FDE Forward Deployed Engineer
온톨로지는 혼자 만들 수 없다 – 조직 내외 온톨로지 시스템 구현 참여자들
'정의 Definition 전쟁' 중재와 내부 FDE 조직 육성
3대 핵심 시스템별 데이터 특징과 온톨로지 적용 후 변화
LLM + 온톨로지 + 시뮬레이션 결합 구조 - 말하는 AI를 넘어, 판단하는 시스템으로
AI는 답을 내리지 않는다, 답의 '범위'를 정할 뿐이다
미래 전망 : 자율 에이전트 AI는 왜 온톨로지를 필요로 하는가
온톨로지가 적용된 미래 기업의 의사결정 현장
온톨로지 파일럿 90일 로드맵
4부의 핵심 메시지

부록 : CEO & 투자자를 위한 온톨로지 전략 워크북

■ 책 속으로

사후 분석 결과는 이랬다. 데이터는 틀리지 않았다, AI 모델도 정상적으로 작동했다, 알고리즘에도 오류는 없었다. 그럼에도 불구하고, AI의 판단은 현실과 어긋났다. AI가 멍청해진 것이 아니다. 많은 기업이 이 순간, AI 모델을 의심한다. “모델이 아직 덜 학습된 것 같다.” “데이터를 더 쌓아야 한다.” 그래서 또다시 투자한다. 더 많은 데이터, 더 복잡한 모델, 더 큰 플랫폼. 하지만 결과는 크게 달라지지 않는다. 이유는 단순하다. AI는 처음부터 제대로 된 질문을 받은 적이 없기 때문이다. AI는 숫자를 보지만, 맥락은 보지 못한다. (p.4) 

엑셀은 '관계'를 모른다. 엑셀의 가장 강력한 기능은 무엇일까? 많은 사람들이 'VLOOKUP'이라고 말한다. VLOOKUP은 범위의 첫번째 열(맨 좌측)을 기준으로 값을 찾아 다른 열의 값을 반환하는 엑셀의 대표적인 함수이다. 이 말 자체가 모든 것을 설명한다. 엑셀에서 관계란 “이 값을 저 값에서 찾아온다.” 수준이다. 하지만 회사에서의 관계는 다르다. 고객 방문 → 주문 → 재구매 → 추천, 장비 고장 → 공정 지연 → 납기 실패→ 위약금, 인력 이탈 → 품질 저하 → 클레임 증가. 이것은 단순한 조회가 아니라 연결된 이야기다. 엑셀은 이 이야기를 이해하지 못한다. 엑셀은 줄과 줄을 잇지 못하고, 그저 칸과 칸을 맞출 뿐이다. (p.36) 

결국 이 모든 실험의 끝에서 점주의 질문은 완전히 뒤바뀐다. 과거에는 “도대체 왜 매출이 줄었지?”라며 지나간 결과에 매달렸다면, 이제는 “지금 이 상황에서 어떤 선택이 손실을 최소화하고 이익을 극대화할까?”

라는 본질적인 물음을 던진다. 인건비와 공간, 시간이라는 뚜렷한 제약조건 안에서 매출과 만족도를 동시에 끌어올릴 수 있는 최적의 조합을 찾아내는 '최적화 문제'로 진입하는 것이다. 바로 이 지점에서 단순한 계산기를 넘어선 '판단 AI'가 등장한다. 점주가 설계한 온톨로지는 이제 식당의 모든 맥락을 이해하고, 점주에게 가장 현명한 의사결정의 길을 안내하는 든든한 조력자가 된다. (p.121) 

온톨로지 시스템을 도입한 기업들의 공통된 재무적 특징은 다음과 같다. 매출이 폭발하지 않아도, 마진이 급등하지 않아도, 다음 사항들이 서서히 그러나 확실히 바뀐다. 바로 손실의 예측 가능성, 비용의 통제 가능성, 자본의 회전 효율, 위기 상황에서의 대응 곡선 등이다. 이 변화는 분기 실적보다 늦게 나타나지만, 한 번 나타나면 되돌릴 수 없는 구조적 우위, 즉 해자가 된다. 온톨로지 시스템은 기업의 숫자를 바꾸기 전에, 숫자가 만들어지는 구조를 바꾼다. 그래서 이 기술의 진짜 가치는 재무제표의 '항목'이 아니라 재무제표의 '패턴'에서 드러난다. 그리고 이 패턴을 읽을 수 있는 투자자만이 온톨로지를 권력으로 가진 기업을 먼저 발견한다. 다음 시대의 'B형 기업(온톨로지 기업)'을 가장 먼저 발견할 수 있게 되는 것이다. (p.222-223)

CEO의 역할은 '답을 고르는 사람'이 아니다. CEO는 범위 안에서 책임질 선택을 하는 사람이다. AI는 가능성을 제시하고, 시스템은 제약을 보여주고, CEO는 그중 하나를 선택한다. 이때 비로소 의사결정은 자동화되지 않지만, 지능화된다. AI는 판단을 대신하지 않는다. AI는 인간을 대체하지 않는다. AI는 인간의 판단을 가능하게 만든다. 그렇기에 정답을 주지 않고 범위를 정해준다. 선택의 결과를 드러낸다. 그리고 그 범위를 정의하는 언어가 바로 온톨로지다. AI는 답을 내리지 않는다. 답이 될 수 있는 세계를 그려줄 뿐이다. 그 세계에서 어떤 길을 선택할지는 여전히 인간의 몫이다. (p.312) 

현실의 자율 에이전트 AI는 영화보다 더 빠르게 오고 있다. 이제 에이전틱 AI는 영화 속 이야기가 아니다. 자동으로 의사결정을 내리고, 다른 AI와 협업하며, 업무를 나누고, 실제 행동(주문, 승인, 제어)을 수행한다.

여기에 피지컬 AI까지 결합되면, 공장, 물류, 에너지, 국방, 도시 운영 모두가 AI의 판단 위에 놓이게 된다. 이때 온톨로지가 없다면, 우리는 매트릭스의 에이전트와 스카이넷을 동시에 맞이하게 된다. 그래서 미래의 AI 경쟁은 모델 경쟁이 아니다. 미래의 경쟁력은 더 큰 모델, 더 빠른 GPU, 더 많은 데이터가 아니다. 누가 더 잘 정의된 세계관을 AI에게 심었는가다. 온톨로지를 가진 AI는 왜 그렇게 판단했는지 설명할 수 있고, 어떤 규칙을 어겼는지 추적 가능하며, 잘못되었을 때 수정할 수 있다 반면 온톨로지가 없는 자율 AI는 빠르지만, 불투명하고, 책임질 수 없다. (p.317)