좋은 AI 모델만으로 기업의 문제를 풀 수 없는 이유
“기본적으로 문제를 푸는 데 약간 집착합니다.”
김창하 인포시즈 CTO는 자신의 문제 해결 방식을 이렇게 설명합니다. 기업 AI 프로젝트를 직접 경험하며 발견한 가장 큰 문제는 AI 모델의 성능이 아니라 기업의 데이터와 맥락을 AI가 제대로 이해하기 어렵다는 점이었습니다. 눈앞에 놓인 문제만 해결하기보다 위아래, 양옆을 살피며 계속 질문합니다. “진짜 문제는 뭐지?” 이 질문은 김창하 CTO가 기업 AI를 바라보는 방식과도 닿아 있습니다.
좋은 AI 모델을 도입하고 에이전트를 만들어도 실제 기업의 업무에서는 기대한 만큼 작동하지 않는 경우가 많습니다. 문제를 파고들수록 모델보다 먼저 해결해야 할 것이 보였습니다. 기업 곳곳에 흩어진 데이터를 찾고 그 의미와 관계를 이해해 AI가 사용할 수 있는 맥락으로 만드는 일이었습니다.
인포시즈는 바로 이 문제를 풀고 있습니다. 김창하 CTO에게 기업 AI에서 정말 어려운 문제는 무엇인지, 그리고 그 문제를 해결하기 위해 어떤 기술을 만들고 있는지 물었습니다.
지금까지 어떤 문제들을 풀어왔나요?
이전 조직에서는 대규모 AI 에이전트를 만드는 일을 했어요. 그때 기업에서 AI를 실제로 적용하는 과정에서 어떤 문제가 발생하는지를 경험했습니다. 모델 자체는 이미 충분히 좋아지고 있었는데 실제 기업 안에서는 그 모델이 조직의 맥락을 알 수 없었죠. 결국 적절한 시점에 적절한 데이터를 찾아서 AI에게 제공해야 하는데 그 과정이 생각보다 굉장히 어려웠습니다.
조직마다 다루는 데이터가 달라서 필요한 데이터가 어디에 있는지 찾고, 권한을 얻고, 가져온 다음 어떻게 가공해서 AI에게 전달할지까지 하나씩 해결해야 했습니다. 화면에서 보던 값 하나를 에이전트에게 전달하는 데까지 수개월이 걸리는 경우도 있었죠. 그러다 보면 정작 에이전트를 고도화하거나 현업이 가진 노하우를 반영하는 데 충분한 시간을 쓰지 못하고 프로젝트가 끝나기도 합니다.
이 경험으로 기업 AI에서 기술적으로 중요하게 풀어야 하는 문제가 데이터에 있다고 봤어요. 같은 문제를 풀고 있던 회사가 인포시즈였고, 그게 합류하게 된 중요한 이유였습니다.
기업 AI가 기업의 데이터를 제대로 활용하기 어려운 이유는 무엇인가요?
데이터가 없는 게 문제가 아닙니다. 문제는 서로 다른 조직과 시스템에 흩어져 있고 각각의 데이터가 무엇을 의미하는지 AI가 알기 어렵다는 데 있어요. 특히 이메일, 메시지, 계약서, 도면 같은 비정형 데이터는 다루기가 더 어렵죠. 일반적으로는 문서를 잘게 나눈 다음 질문과 유사한 내용을 찾아 LLM에 넣어주는 Vector RAG 방식을 많이 사용합니다. 비교적 쉽게 구축할 수 있는 방법입니다.
인포시즈는 여기서 한 단계 더 들어가요. 문서가 어떤 개념과 대상을 다루고 있는지 추출하고 같은 개념을 다루는 여러 정보를 명시적인 관계로 연결합니다. 단순히 내용이 비슷해서 같이 검색되는 게 아니라 이 정보와 저 정보가 어떤 관계로 연결되어 있는지 AI가 활용할 수 있도록 만드는 겁니다.
온톨로지는 AI가 기업의 데이터를 이해하는 데 어떤 역할을 하나요?
복잡한 현실과 데이터를 AI가 문제를 풀 수 있는 형태로 단순화하고 구조화합니다. 이렇게 만들어진 구조를 온톨로지 레이어(Ontology Layer)라고 부릅니다. 내비게이션을 생각하면 이해하기 쉬워요. 길을 찾기 위해 현실 세계의 모든 정보를 그대로 담을 필요는 없어요. 건물이 어디에 있고, 도로가 어떻게 이어져 있는지처럼 길을 찾는 데 필요한 요소와 관계를 추출합니다.
온톨로지도 비슷해요. 데이터에 존재하는 복잡한 개념 가운데 문제를 푸는 데 필요한 개념과 관계를 구조화합니다. 그러면 AI가 모든 데이터를 무작정 찾아보는 게 아니라 이 구조 위에서 먼저 길을 찾을 수 있죠. 어떤 경로를 통해 답이 나왔는지도 볼 수 있기 때문에 정확도를 높이는 데 도움이 되고 운영하기도 용이합니다. 이게 인포시즈가 하고 있는 방법론의 중요한 장점이에요.
비정형 데이터를 온톨로지로 구조화하는 일은 왜 어려운가요?
비정형 문서에는 데이터베이스처럼 처음부터 정해진 구조가 없습니다. 문서가 어떤 개념과 대상을 다루는지 찾아야 하고 서로 다른 문서에서 언급된 대상이 같은 대상인지도 판단해야 합니다. 정보가 서로 충돌하면 어떻게 처리할지도 정해야 하고요. 현업에서 구조를 명확하게 정의해주지 않은 경우에는 문서에서 그 구조 자체를 찾아야 할 수도 있습니다.
원천 데이터를 키워드나 유사도로 찾아오는 방식에 한계가 있다는 건 많은 사람들이 알고 있어요. 핵심 정보를 잘 추출하고 정제하면 좋다는 것도 알고 있고요. 어려운 건 ‘그럼 이걸 어떻게 정제할 것인가’입니다. 좋다는 걸 아는 것과 실제로 만드는 건 다른 문제이죠. 인포시즈는 프로젝트를 하면서 이런 문제를 계속 만나고, 해결한 방법을 솔루션으로 만들어가고 있습니다.
높은 정확도가 필요한 문제는 어떻게 풀어가나요?
중요한 고객사 프로젝트를 짧은 기간 동안 몰입해서 진행한 적이 있어요. 그 프로젝트에서는 “절대로 틀리면 안 된다. 정확도가 100% 나와야 한다”는 요구가 있었어요. 어떻게 하면 그 정확도를 달성할 수 있을지 고민하다가 AI에게 자유도를 덜 줄수록 정확도가 높아질 수 있겠다는 생각이 들었습니다. 자유도가 많다는 건 그만큼 실수할 수 있는 경우도 많아진다는 의미니까요. DSL(Domain-Specific Language), 즉 특정 도메인에 특화된 언어를 제공하는 방식이 적합할 수 있겠다고 봤어요. 빠르게 실험해봤는데 성능이 괜찮았고 새로운 방법론으로 프로젝트에 적용했습니다. 이후 플랫폼에도 반영했습니다.
인포시즈가 다루는 문제들은 기업 내부에서 자체적으로 해결하기 어렵거나 단순히 SaaS를 도입하는 방식만으로는 풀리지 않는 경우가 많아요. 정해진 방법을 적용하기보다 문제를 깊이 이해하고 그에 맞는 해결 방법부터 찾아야 하는 이유입니다.
문제를 풀 때 가장 중요하게 보는 기준이 있나요?
저는 기본적으로 문제를 푸는 데 약간 집착하는 편이에요. 눈앞에 있는 문제 하나만 보는 것보다는 위아래, 양옆으로 같이 보려고 해요. 그렇게 보다 보면 지금 가지고 있는 문제가 사실 진짜 문제가 아니라는 생각이 들 때가 있어요. 그러면 다시 질문합니다. “진짜 문제는 뭐지?”
기술적으로 더 아래에 원인이 있을 수도 있고 반대로 사용자나 비즈니스 관점에서 보면 다른 문제일 수도 있어요. 문제를 여러 방향에서 보다 보면 처음에 풀려고 했던 문제와 다른 곳에 도착하기도 합니다. 인포시즈가 다루는 문제들은 고객사마다 굉장히 다양하고 이미 정해진 답이 없는 경우도 많습니다. 문제를 어떻게 풀지 고민하기 전에 무엇을 풀어야 하는지 정확하게 찾는 과정부터 중요합니다.
기술만 잘해서 풀 수 있는 문제는 아니겠네요.
결국 에이전트 성능에 정말 많은 영향을 주는 게 데이터를 제대로 정제하려면 업무 이해도가 굉장히 높아야 합니다. 각각의 데이터가 실제 업무에서 무엇을 의미하는지 모르면 AI에게 어떤 형태로 전달해야 하는지도 판단하기 어렵죠. 현업과 엔지니어가 거의 한 몸처럼 일해야 AI에게 잘 전달할 수 있는 형태로 정제할 수 있습니다.
저는 FDE 한 명 한 명이 굉장히 넓고 많은 일을 할 수 있다고 믿어요. 고객을 만나 문제를 이해하고, 그 문제를 기술적으로 어떻게 풀지 고민하고, 다시 고객에게 어떻게 보여주고 검증 받을지까지 연결해서 볼 수 있어야 합니다. 그런 총체적인 이해를 가진 사람이 프로젝트를 진행해야 하는데 인포시즈에는 그런 분들이 많이 계십니다.
고객마다 다른 문제를 풀면 매번 처음부터 다시 시작해야 하지 않나요?
그렇게 되지 않도록 만드는 게 중요해요. 프로젝트를 하다 보면 현장에서 예상하지 못했던 문제를 계속 만나게 되는데요. 저희는 그 과정에서 얻은 경험과 해결 방법이 프로젝트 하나에서 끝나지 않도록 솔루션에 반영하고 있어요.
앞단의 데이터를 찾고 정제하고 의미와 관계를 부여하는 과정도 마찬가지입니다. 한 번 잘해두면 다음 에이전트나 다른 업무에서도 활용할 수 있어야 하죠. 어려운 문제를 계속 풀면서 쌓이는 경험과 공동의 자산이 인포시즈의 차별점이 될 수 있다고 봅니다.
인포시즈가 해결해야 할 다음 문제는 무엇인가요?
지금은 기업의 데이터를 구조화하고 정제하는 과정에 사람의 품이 많이 들어갑니다. 이 작업 자체가 가치 있다고 믿고 실제로 그 가치를 확인하고 있지만 동시에 비용이 많이 드는 일이기도 합니다. 앞으로는 이 일의 비용을 어떻게 낮출 수 있을지 고민하고 있어요. 사람이 직접 많이 개입하지 않아도 데이터 구조화 과정이 AI를 통해 자동화될 수 있도록 시스템을 만들고 있습니다.
이 과정의 비용을 충분히 낮추면 더 많은 기업이 자신의 데이터를 AI가 활용할 수 있는 형태로 만들 수 있어요. 궁극적으로는 기업에서 사용하는 여러 에이전트가 각자 데이터를 처음부터 준비하는 게 아니라 잘 구조화된 기업의 지식 기반을 함께 활용할 수 있어야 한다고 봅니다.
정해진 답보다 진짜 문제를 찾습니다.
“진짜 문제는 뭐지?” 김창하 CTO가 기업 AI를 바라보는 방식은 하나의 질문으로 모입니다. 비정형 데이터를 유사도로 검색하는 것만으로 부족하다면 개념과 관계를 구조화하고, 정확도가 나오지 않는다면 AI가 문제를 푸는 방식 자체를 다시 설계합니다. 현장에서 해결한 방법은 다음 문제에서도 사용할 수 있도록 기술에 남깁니다.
인포시즈가 해결하는 문제 중에는 이미 만들어진 기술을 적용하는 것만으로 해결하기 어려운 문제가 많습니다. 기술을 만들기 전에 무엇이 진짜 문제인지부터 찾아야 합니다. 문제를 끝까지 파고들고 기존의 답으로 풀리지 않으면 새로운 답을 만드는 것. 인포시즈의 기술 조직이 가장 어려운 문제를 풀어가는 방식입니다.