“우리 회사 모든 데이터를 잘 전처리해서 LLM에 학습시키면 우리 회사 엘리트 AI 김과장되는 거 아닌가?”
한 번쯤 윗분들로부터 들어본 말일 것이다. 필자 역시 그런 시대가 오는 것을 기대했고, 국내외 인공지능 솔루션 사업개발을 하면서 저런 소망을 이야기하시는 분들을 많이 봤다. 심지어 어떤 기업은 막대한 비용을 들여서 회사 데이터의 상당 부분을 전처리해서 AI 에이전트로 만들었는데, 그 정확도나 활용도가 떨어져서 실망이라는 이야기도 들었다. 과연 어디서부터 문제인 것인가?
할루시네이션보다 무서운 맥락의 부재: 전처리와 학습만으로 부족한 이유
답답한 마음에 대규모 언어 모델(Large Language Models, 이하 LLM)에 ‘우리 회사 문제가 이러이러한데, 어떻게 해결하면 좋겠어?’라고 말하면 정말 그럴듯한 답변이 순식간에 쏟아져 나온다. 하지만 자세히 읽어보면 어딘가에서 본 듯한 내용이거나 틀린 내용인 경우도 많다.
당연하다. 기업마다 문제를 바라보는 방식이나 해결 방안이 천차만별인데, 사용하는 LLM은 몇 개 안 되는 동일 모델(ChatGPT, G