복사가 완료되었습니다.

LLM을 위한 프롬프트 엔지니어링

LLM 구조 이해부터 프롬프트 전략, 대화형 에이전트 설계, 성과 평가까지

ISBN-13

979-11-94587-80-4 (93000)
출판사 / 임프린트

주식회사 제이펍 / 주식회사 제이펍
정가

28,000 원 확정정가
발행일

2026-01-15
출간상태

출간
저자

존 베리먼(John Berryman) , 앨버트 지글러(Albert Ziegler)
번역

김정인
메인주제어

인공지능
추가주제어

-
키워드

#인공지능 #LLM #프롬프트엔지니어링 #생성형AI
도서유형

종이책, 반양장/소프트커버
대상연령

모든 연령, 성인 일반 단행본
도서상세정보

188 * 245 mm, 300 Page

책소개
목차
본문인용
서평
저자소개

책소개

LLM을 지배하는 건 코드가 아니라 프롬프트다

결과물 중심의 접근과 달리 프롬프트 엔지니어링 자체를 깊이 있게 탐구한 실전 가이드다. LLM의 구조와 작동 원리, 효과적인 프롬프트 설계 기법, 대화형 워크플로 구성, 성과 평가까지 실무에 필요한 내용을 체계적으로 다룬다. 특히 ‘모델이 학습한 패턴을 모사하는 프롬프트를 설계해야 원하는 출력을 얻을 수 있다’는 원칙을 중심으로, 명확한 언어 사용과 검증된 패턴의 활용, 정보 최소화 등 실질적인 전략을 제시한다. 프롬프트를 ‘쓰는 법’이 아니라 ‘왜 그렇게 써야 하는지’를 설명하며, 시행착오를 줄이는 이론적 기반을 제공한다. 단순한 활용법을 넘어 LLM을 도구로 활용하는 사고방식 자체를 훈련할 수 있게 돕는다.

본문인용

사람과 마찬가지로 LLM도 단일 문자를 읽지 않는다. 모델에 텍스트를 전송하면 처음에는 텍스트를 토큰(token)이라고 부르는 여러 문자로 구성된 단위(chunk)로 나뉜다. 일반적으로 서너 자 길이지만 일반적인 단어나 문자 시퀀스에 대한 더 긴 토큰도 있다. 모델에서 사용되는 토큰 집합을 어휘(vocabulary)라고 한다. / 텍스트를 읽을 때 모델은 먼저 토크나이저(tokenizer)를 통해 텍스트를 토큰 시퀀스로 변환한 다음 LLM에 전달된다. 그러면 LLM은 일련의 토큰(내부에서는 숫자로 표현된다)을 생성하고, 이는 다시 텍스트로 변환된 다음 사용자에게 반환된다. (27쪽)

현대 LLM에서 이 Q&A 메커니즘은 마스킹(masking)이라고 하는 하나의 제약을 더 따른다. 모든 미니브레인이 질문에 답할 수 있는 것은 아니다. 질문을 한 미니브레인의 왼쪽에 있는 미니브레인만 그 질문에 답할 수 있다. 그리고 미니브레인은 자신의 답변이 사용됐는지 결코 알 수 없으므로 오른쪽에 있는 미니브레인은 왼쪽에 있는 미니브레인에 결코 영향을 미칠 수 없다. (45쪽)

퓨샷 프롬프트는 콘텍스트가 커질수록 확장성이 떨어지고, 결과가 예시에 편향되며, 잘못된 패턴(spurious pattern)을 유도할 수 있다. 이렇게 여러 문제가 있음에도 불구하고, 퓨샷 프롬프트를 사용할 가치가 있을까? 경우에 따라 다르다. 퓨샷 프롬프트는 모델에게 사용자 질문의 다양한 측면을 명확하게 설명해주는 데 가장 쉬운 방법이며, 이러한 위험성은 신중한 평가 과정을 거침으로 완화시킬 수 있다(10장). 따라서 사용자 문제 도메인이 모델에게 불명확한 특정 측면을 포함하고 있고, 프롬프트 공간이 충분히 크고, 편향을 피하기 위해 주의를 기울였다면 퓨샷 프롬프트는 유용한 프롬프트 엔지니어링 도구가 될 수 있다. (110쪽)

완성형 모델을 사용하는 경우 인셉션(inception)이라는 기법을 사용할 수 있다. 이 기법은 응답의 시작 부분을 사용자가 직접 작성한다. (...) 응답의 서두를 사용자가 먼저 작성하면, 모델은 자신이 그 답을 시작한 것으로 생각하고 그에 맞춰 나머지 결과도 생성한다. 이 방식은 모델의 지시 준수도를 개선시키고 답변을 파싱하기 쉽게 만들 뿐 아니라 답변이 일반적인 진술로 시작할지 아니면 바로 요점을 짚을지에 대한 불확실성을 피하는 데 도움이 된다. (140쪽)

작업이 명확하게 잘 정의됐다면 각 작업에 대한 예제 데이터를 수집해 작업을 개선할 수 있다. 작업 구현 결과가 운영 환경에 반영되기 전에 오프라인에서 프롬프트를 실행해보고 그 결과가 기대한 행동과 일치하는지 점검하는 하네스 테스트(harness test)를 만들어야 한다. 이렇게 해두면 프롬프트를 변경할 때 해당 작업 품질을 저하시키지 않고도 안전하게 배포하기 쉬워진다. 입출력 예시 데이터는 최근 등장한 최적화 기법인 DSPy(https://arxiv.org/abs/2310.03714)와 TextGrad(https://arxiv.org/abs/2406.07496)에서도 유용하게 쓰인다. 이 프레임워크는 I/O 예제를 활용해 프롬프트를 최적화해 제공된 지표에 따라 측정된 품질을 자동으로 향상시킬 수 있다. (241쪽)

만약 제안을 직접적으로 평가할 수 없다면 대부분의 애플리케이션은 사용자가 해당 제안을 수락할지 또는 최소한 수락하려는 단계를 취했는지 여부를 점검할 수 있다. 예를 들어, 사용자가 실제로 시카고 여행을 예약했는지를 확인할 수 있다. 제안 내용에 링크가 포함되어 있다면 사용자가 해당 링크를 얼마나 자주 클릭했는지를 나타내는 클릭률(click-through rate)처럼 직접적일 수 있다. 이 지표는 제안 내용이 괜찮아 보였는지만 확인하지 실제로 유용했는지를 확인할 수 없다. 그렇지만 이 지표는 매우 중요한 출발점이 되는 경우가 많다. / 이는 코파일럿에서 발견한 사실(https://oreil.ly/qwR21)이기도 하다. 우리는 이 수용 지표가 사용자들이 느낀 생산성 향상과 함께 매우 강한 상관관계가 있다는 것을 발견했다. (268쪽)

서평

깃허브 코파일럿을 만든 이들이 말하는 LLM 설계의 기준

이 책은 프롬프트를 '예쁘게' 다듬는 요령을 모은 안내서가 아니다. 한두 줄의 문장으로 모델을 요령껏 다루는 방법을 기대한다면 이 책은 전혀 다른 이야기를 한다. 저자들은 LLM을 단순히 '어떻게' 쓸 것인가보다 어떤 관점으로 이해하고 어떤 구조 안에서 다뤄야 하는지를 먼저 묻는다. 콘텍스트를 수집하고 정리하는 법부터 프롬프트를 쌓아 올리는 구조, 그리고 가드레일과 평가를 통해 AI의 출력을 통제하는 법까지 실무에서 마주하는 핵심 문제들을 정면으로 다룬다. 이 논의는 자연스럽게 에이전트와 워크플로 설계라는 더 큰 시스템의 영역으로 확장된다.

그 단단한 논리의 출발점에는 깃허브 코파일럿 개발에 참여하고 실제 제품 환경에서 운영한 저자들의 독보적인 경험이 있다. 그래서 이 책은 단순한 기법 나열에 그치지 않는다. 대신 '왜 이런 설계가 필요한가', '이 방식은 언제 깨지는가'라는 날카로운 현장의 질문들을 중심으로 이야기를 전개한다. LLM을 '텍스트 완성 엔진'으로 재정의하는 냉철한 시선에서 시작해 모델이 바뀌어도 결국 남는 것은 ‘마법 같은 문장’이 아니라 '설계'라는 점을 일관되게 보여준다.

코파일럿을 직접 만든 경험에서 우러나온 이 책은 프롬프트를 단순한 입력값이 아닌 설계의 언어로 다룬다. LLM을 일회성 실험이 아니라 안정적인 시스템으로 구축하고 싶은 이들에게 이 책은 흔들리지 않는 분명한 기준점이 되어줄 것이다.

주요 내용

LLM의 구조와 작동 원리 이해하기
애플리케이션을 위한 프롬프트 전략 설계하기
맥락 요소를 수집 및 분류, 제시해 효율적 프롬프트 만들기
퓨샷, CoT, RAG 등 핵심 기법 익히기
대화형 워크플로를 설계하고 실무에 적용하기
성과를 평가하고 활용 전략 검증하기

저자소개

저자 : 존 베리먼(John Berryman)
Arcturus Labs의 창립자이자 수석 컨설턴트로, LLM 애플리케이션 개발을 전문으로 한다. 기업들이 첨단 AI 기술을 효과적으로 활용할 수 있도록 돕고 있으며, 깃허브 코파일럿의 초기 엔지니어로 참여해 자동 완성과 대화 기능 개발에 기여하며 AI 기반 코딩 도구의 최전선에서 활동했다. 그 이전에 는 검색 엔지니어로 경력을 쌓으며 미국 특허청의 차세대 검색 시스템 개발, Eventbrite의 검색 및 추천 기능 구축, 깃허브 코드 검색 인프라 개발에 참여했다. 저서로는 《Relevant Search》가 있다.

저자 : 앨버트 지글러(Albert Ziegler)
AI 사이버 보안 기업 XBOW의 AI 총괄로, LLM을 첨단 보안 기술과 결합해 미래의 디지털 세계를 안전하게 만드는 데 힘쓰고 있다. LLM이 대중화되기 전부터 AI 기반 시스템을 설계해왔다. 깃허브 코파일럿의 창립 엔지니어로서 프롬프트 엔지니어링 시스템을 설계하고, 수많은 AI 기반 도구와 코딩 어시스턴트 애플리케이션의 등장을 이끌며 개발 환경과 LLM 응용의 미래를 열었다.

번역 : 김정인
플랫폼 기업의 빅데이터 서비스 조직에서 근무하고 있다. 업계 용어 중심으로 쓰면 나태하게 보일까 걱정되고, 모두 우리말로 바꾸자니 전문가들과 소통이 어렵지는 않을까 하는 걱정 사이에, 이제는 어떻게 하면 챗GPT보다 더 나은 가치를 제공할 수 있을까 하는 고민까지 더 얹어 번역하고 있다. 이런 고민을 책 문장마다 잘 녹여내기 바라며 옮기지만, 그에 대한 인정은 독자들 몫이니 마음을 내려놓는 연습도 하고 있다. 옮긴 책으로는 《데이터 과학을 위한 소프트웨어 엔지니어링》, 《파이썬 데이터 사이언스 핸드북(개정판)》, 《실전! 파이토치 딥러닝 프로젝트》, 《강화학습/심층강화학습 특강》, 《실전! 텐서플로 2를 활용한 딥러닝 컴퓨터 비전》 등이 있다.

한국출판문화산업진흥원 출판유통통합전산망