이 책은 5부에 걸친 모두 14개의 장으로 구성되어 있다. 각 부는 LLM의 기초 활용 기술에서 시작해 LangChain, LangGraph, MCP를 활용한 출시 모델 수준의 에이전트까지 구축하도록 구성되어 있다. 1부는 LLM이 어떤 영역에서 강점을 보이고 어떤 한계를 지니는지, 그리고 실제 응용 시스템을 구축할 때 왜 프레임워크가 필수적인지를 살펴보면서 기초적 지식을 제공한다. 2부에서는 LLM의 핵심 활용 사례 가운데 하나인 대량의 텍스트에서 핵심 정보를 추려 실제 활용 가능한 형태로 정리하는 방법을 다룬다. MapReduce 전략과 LangChain Expression Language(LCEL) 파이프라인을 구성해 보며, 웹을 탐색하여, 출처를 수집하고, 이를 요약한 뒤, 간결하면서도 근거를 갖춘 보고서를 생성하는 연구 요약 엔진을 구축하고 Agent의 기본 개념을 소개한다.
3부는 OpenAI와 ChromaDB를 사용하여 RAG를 기본 원리를 다루고 임베딩(embeddings), 문맥 기반 검색(semantic search) 그리고 수집–질의 루프와 벡터 저장소와 검색기(retriever)의 역할을 보여주는 최소한의 Q&A 챗봇을 구현하며, LangSmith 추적 기능을 소개한다.
4부에서는 데이터와 사용자 규모가 커질 때 검색 시스템을 어떻게 확장할 수 있는지 살펴본다. 정교한 조각화(chunking), 다중 임베딩, 그리고 목표 지향적 확장을 통해 인덱싱과 반정형 데이터와 멀티모달 콘텐츠에 맞게 검색 전략을 조정하는 방법도 살펴본다. 또한 검색 성능을 높이는 재작성-검색-읽기(rewrite–retrieve–read) 패턴, 스텝백(step-back) 프롬프트, 가설 문서임베딩(Hypothetical Document Embeddings(HyDE)), 질문 분해 등의 기법을 활용해, 검색 과정에서 더 관련성이 높고 충분한 정보를 안정적으로 찾아내는 방법과 상호순위 융합(Reciprocal Rank Fusion(RRF))으로 결과를 후 처리하여 LLM에 가장 관련성이 높은 문맥을 제공하는 방법론도 익힌다.
5부는 에이전트 시스템을 본격적으로 탐색하는데 시스템이 어떻게 의사결정을 내리고 행동을 수행하는지를 살펴본다. 도구를 사용하는 에이전트와 멀티 에이전트 시스템을 구축하고, 이를 MCP로 확장하며, 실제 운영 환경에 배포할 수 있도록 준비하는 과정을 다룬다. 또한supervisor 패턴을 사용해 멀티 에이전트 시스템을 구성하는 방법을 다루며, 각 하위 작업을 가장 적절한 전문 에이전트가 처리하도록 설계한다. 모델 문맥 프로토콜(Model Context Protocol(MCP))이 무엇인지, MCP 서버를 직접 구축해 보고 외부에서 제공되는 MCP 도구를 활용하는 방법도 살펴본다.

이 책은 LangChain, LangGraph, MCP를 사용해 실환경 수준의 AI 에이전트와 애플리케이션을 구축하려는 개발자와 기술적 배경을 가진 독자를 대상으로 한다. 따라서 기본적인 파이썬 사용법과 터미널에서 명령을 실행하거나 가상 환경을 관리하는 등의 일반적인 개발자 워크플로에 익숙하다면 무리 없이 따라갈 수 있다. 또한 Jupyter Notebook을 실행하거나 Visual Studio CodeVS Code에서 파이썬 애플리케이션을 개발해본 경험이 있다면 학습을 더 빠르게 진행할 수 있다. LLM 애플리케이션 개발 경험이 반드시 필요한 것은 아니지만, ChatGPT, Claude, Gemini와 같은 도구를 사용해본 경험이 있다면 도움이 된다.
일부 독자는 단순한 LLM API 호출을 넘어서는 시스템을 구축하려는 소프트웨어 엔지니어일 수도 있고, RAG 프로토타입을 신뢰할 수 있는 애플리케이션이나 에이전트로 발전시키려는 데이터 사이언티스트 또는 머신러닝 엔지니어일 수도 있을 것이다. 이 책은 구현 가능성과 배포 전략을 평가하는 기술 리더나 제품 관리자에게도 유용하다. 더 나아가 학생, 독학자, 연구자, 취미로 개발을 하는 사람들 역시 기초 개념에서 시작해 완전히 동작하는 시스템에 이르기까지의 명확하고 실용적인 학습 경로를 이 책에서 찾을 수 있다.
각 장을 따라가다 보면, 기초 개념에서 출발해 완전히 작동하는 애플리케이션을 구현하는 단계에까지 이르게 된다. 효과적인 프롬프트를 설계하고, LangChain을 활용해 RAG 파이프라인을 구축•테스트•강화하며, LangGraph를 통해 에이전트 기반 워크플로와 다중 에이전트 협업 구조를 구현한다. 또한 MCP를 통해 외부 도구를 통합함으로써 보안성과 상호운용성을 갖춘 기능을 구축하는 방법을 익힌다. 이러한 과정을 거치면서 시스템의 동작을 추적하고 디버깅하며 지속적으로 개선하는 능력도 함께 기르게 된다. 아이디어를 신뢰할 수 있고 유지보수가 가능한 AI 제품으로 발전시키는 것이 목표라면, 이 책은 그 전 과정을 단계적으로 안내하는 길잡이가 될 것이다.

이 책은 5부로 구성된 총 14개 장으로 이뤄져 있다. 각 부는 앞의 내용에 기반해 단계적으로 확장되며, LLM의 기초 활용 기술에서 시작해 LangChain, LangGraph, MCP를 활용한 출시 모델 수준의 에이전트까지 구축하도록 구성돼 있다. 독자는 처음부터 끝까지 순서대로 읽을 수도 있지만, 자신의 프로젝트와 가장 밀접한 관련이 있는 부분만 중점적으로 읽을 수도 있다. 본문 전반에 걸쳐 제공되는 교차 참조는 이러한 과정에서 발생할 수 있는 이해의 공백을 자연스럽게 메우도록 도와줄 것이다.

2022년 후반에 들어서면서 한 가지 변화가 일어났다. 거대 언어 모델(LLM, Large Language Model)은 더 이상 실험실 기술로 머물지 않았고, 실제 쓸모 있는 도구가 되기 시작했다. 문단 하나를 요약해보려던 간단한 시도는 질문에 답하는 챗봇으로 발전했고, 별 볼 일 없던 스크립트는 다른 팀들도 써보고 싶어 하는 서비스로 바뀌었다. LLM은 더 이상 신기한 구경거리가 아니라, 필수적인 소프트웨어 개발 도구로 빠르게 자리매김했다.
이 점이 매우 고무적인 이유는 다음과 같다. LLM은 소프트웨어가 마치 인간의 언어를 구사하듯 작동한다. LLM은 계약서를 수정하고, 로그를 의미 있는 답변으로 바꾸고, 코드의 초안을 작성하고, 다음 단계를 계획할 수 있으며, 나아가 그 작업을 실제로 수행하기 위해 적절한 도구와 데이터를 호출할 수도 있다. 검색과 도구 사용이 결합되면, 애플리케이션은 더이상 경직된 기계가 아니라 점차 협력적인 파트너에 가까운 존재로 느껴지기 시작한다. 잠재력이 상당하지만, 그 잠재력을 양산 시스템으로 만드는 일은 단순하지 않다. 데이터 흐름을 통합하고, 효과적인 프롬프트를 설계하고, 검색을 통해 답변의 근거를 확보하고, 다단계 워크플로를 오케스트레이션(orchestration)하며, 배포 이후 시스템이 어떻게 동작하는지 모니터링하는 세심한 작업이 필요하다.
나 역시 여타 개발자와 비슷한 경로를 따라 이 분야에 들어오게 됐다. 처음에는 Jupyter Notebook에서 실험을 하며 API를 탐색했고, 모델이 어디에서 잘 작동하고 어디에서 한계를 드러내는지 배워갔다. 이러한 초기 탐색은 점차 발전했으며, 생산성 향상을 원하는 소수의 초기 사용자들을 위해 직장에서 진행한 소규모 에이전트 기반 사이드 프로젝트로 이어졌다. 기술이 발전하면서, 즉 OpenAI의 API가 개선되고, LangChain의 기능이 확장되고, LangGraph의 오케스트레이션 역량이 강화되고, 고도화된 검색 증강 생성(RAG, Retrieval-Augmented Generation) 및 ReAct와 같은 기법이 새롭게 등장하면서, 프로토타입은 점점 더 정교해졌다. 이와 동시에 이 책을 집필하기 시작했다. 빠르게 변화하는 기술로 인해 1개의 장을 막 끝내고 나면 불과 몇 주 지나지 않아 그 장의 기술들이 이미 뒤처진 것으로 느껴진 적도 한두 번이 아니었다. 이는 무척 고무적이면서도, 때로는 몹시 지치는 일이기도 했다.
그러한 경험은 이 책의 방향성에 큰 영향을 미쳤다. 매번 새로 등장하는 매개변수나 오래 가지 않는 ‘모범 사례’를 좇기보다, 이 책에서는 안정적으로 검증돼 신뢰할 수 있는L LM 애플리케이션의 기반을 이루는 개념, 아키텍처, 설계 패턴에 초점을 맞췄다. 책에서는 실제로 동작하는 시스템(엔진, 챗봇, 에이전트)을 구축하지만, 궁극적인 목표는 재사용 가능한 기반을 제공하는 데 있다. 즉, 검색을 어떻게 구조화할 것인지, 프롬프트를 어떻게 설계할 것인지, 체인chain2을 어떻게 구성할 것인지, 시스템의 동작을 어떻게 평가할 것인지, 그리고 다단계 워크플로를 어떻게 명확하고 자신 있게 오케스트레이션할 것인지를 다룬다.
프레임워크는 이 과정에서 핵심적인 역할을 한다. LangChain은 로더, 분할기, 임베딩, 검색기, 벡터 저장소, 프롬프트 같은 필수 구성 요소를 표준화함으로써, 프로젝트마다 파이프라인 작업을 처음부터 다시 수행할 필요를 없애준다. LangGraph는 이를 확장해 그래프로 워크플로를 구조화하고 에이전트 루프를 조율하며, LangSmith는 가시적인 정보를 통해 디버깅과 평가를 용이하게 해준다. 이들 모두 개발자가 기반 인프라가 아닌 애플리케이션 그 자체에 집중할 수 있게 해준다.
이 시점에서 이 책의 필요성은 다음과 같다. 비로소 기반이 충분히 안정돼 이제 효과적으로 가르칠 수 있는 단계에 도달했다. 그리고 필요성 또한 어느 때보다 커졌기 때문이다. 개발 팀은 특정 벤더나 임시 방편이 아니라, 아이디어와 구현 사이의 간극을 메워줄 실질적 지침을 원한다. 이 책의 목표는 독자 스스로 LLM 기반 시스템을 구축하기 위한 명확한 개념을 갖추고, 신뢰할 수 있는 검증된 패턴들을 익히며, 계속 변화하는 환경 속에서도 지속적으로 시스템을 구축해 나갈 수 있는 자신감을 얻게 해주는 것이다.

로베르토 인판테(Roberto Infante)

25년이 넘는 경력을 지닌 소프트웨어 엔지니어로, 주로 금융 분야에서 활동해왔으며 투자은행, 자산운용사, 브로커, 거래소 등 금융 산업 전반을 두루 경험했다.
현재 헤지펀드의 재무 기능을 위한 퀀트 개발을 총괄하는 동시에 여러 생성형 AI 이니셔티브도 이끌고 있다. 『Building Ethereum Dapps』(매닝, 2019)의 저자이기도 하다.

이 책은 최근 가장 주목받는 에이전트(agent)를 구축하고 활용하기 위한 실무적 지침서다. 따라서 거대 언어 모델을 호출해 실제로 작동하는 엔진부터 챗봇, 에이전트까지 모두 구축해보며, 또한 코드도 제공한다. 우선 LLM을 통해 검색을 구조화하고, 이를 보강하는 최신 RAG 기법을 코드를 통해 구현해본다. 또한 정형 데이터와 비정형 질의를 연결하는 다양한 실습 코드도 제공한다. 이렇게 구현된 모든 코드는 쉽게 재사용할 수 있도록 LangChain과 LangGraph를 기반으로 구축된다. 이 책에서는 검색을 어떻게 구조화할 것인지, 프롬프트를 어떻게 설계하면 되는 것인지, 체인을 어떻게 적절하게 구성할 것인지, 시스템의 동작을 어떻게 평가할 것인지, 그리고 다단계 워크플로를 어떻게 명확하고 자신 있게 오케스트레이션할 것인지를 모두 알려준다. 또한 에이전트와 관련해서 MCP를 통해 필요한 도구를 찾고 활용하는 방법론부터 실제 구현까지 모두 살펴본다.
다시 말해, 이 책은 최근에 가장 주목받는 분야를 손쉽게 접하고 실제 구현까지 해볼 수 있는 최고의 입문서라고 할 수 있다.

이병욱

경영학 박사(Ph.D & MBA)
카이스트 전산학 학사/석사
스위스 플랭크린대학교 경영학 박사
서울과학종합대학원 AI첨단대학원 주임교수
카이스트(KAIST) 겸직교수
SOFT AI 대표이사
금융위원회 금융규제혁신회의 위원
금융위원회 법령해석심의위원회 위원
금융위원회 적극행정위원회 위원
금융위원회 디지털자산 자문위원
한국핀테크 지원센터 혁신금융 전문위원
AI경영학회 부회장
전) BNP 파리바 카디프 전무
전) 삼성생명 마케팅 개발 수석
2021년 혁신금융 부문 대통령 표창

서울과학종합대학원 AI대학원 주임교수와 카이스트 겸직교수를 맡고 있으며, SOFT AI의 대표이사다. 카이스트(KAIST) 전산학과 계산이론 연구실에서 학사/석사를 취득했고, 스위스 플랭클린대학교에서 경영학 박사 학위를 받았다. 현재는 기업 대상으로 인공지능 기술 컨설팅을 비롯해 성공적인 AI 기술 도입을 통한 DT 전환 컨설팅을 하고 있다.
공학을 전공한 금융 전문가로, 세계 최초의 핸드헬드-PC(Handheld-PC) 개발에 참여해 한글 윈도우 CE 1.0과 2.0을 미국 마이크로소프트 본사에서 공동 개발했다. 1999년에는 핀테크 전문회사 ㈜보험넷을 창업했고, 이후 삼성생명을 비롯한 생명 보험사 및 손해 보험사에서 CMO(마케팅 총괄 상무), CSMO(영업 및 마케팅 총괄 전무) 등을 역임하면서 혁신적인 상품과 서비스를 개발하고 총괄했다.
인공지능연구원에서 머신러닝 기반의 금융 솔루션 개발에 관련된 다양한 활동을 하고 있으며 금융위원회, 금융정보분석원 등에 다양한 자문을 하고 있다. 2021년에는 혁신금융 부문 대통령 표창을 수상한 바 있다.
저서로는 『비트코인과 블록체인, 탐욕이 삼켜버린 기술』(에이콘, 2018)과 대한민국학술원이 ‘2019 교육부 우수학술도서’로 선정한 『블록체인 해설서』(에이콘, 2019), 2022년 문체부의 ‘세종도서’로 선정된 『돈의 정체』(에이콘, 2019), 한국금융연수원의 핀테크 전문 교재인 공저 『헬로, 핀테크!』(2020)와 『헬로, 핀테크! - 인공지능 편』(2021)이 있다.