강의

멘토링

로드맵

AI 활용(AX)

/

AI 실무 활용

Spring AI Multi-LLM & Orchestrated Multi-Agent 시스템

본 과정은 Spring AI·Spring Boot를 기반으로 GPT, Gemini, LLaMA(로컬) 를 전략적으로 조합해 Multi-LLM 아키텍처와 오케스트레이션 중심 Agent 시스템(Main/Sub, Tool, Task Runtime, Agent Registry) 을 설계·구현하는 고급 과정입니다. 단일 LLM 호출을 넘어 Agentic Workflow Pattern(Chain, Parallel, Routing, Orchestrator–Workers, Evaluator–Optimizer) 과 Multi-Agent 구조를 적용하고, Tool·ToolRegistry로 RAG·외부 API/DB 등 실행 레이어를 분리하며, DAG 엔진·YAML 선언적 워크플로·로딩 직후 검증(Validated DSL) 으로 확장 가능하고 안정적이며, 품질이 지속 개선되는 AI 시스템을 구현하는 흐름을 다룹니다. 또한 Circuit Breaker, Reactive Stream, Redis 모니터링, 병렬 처리, 반복 평가 루프까지 포함하며, Thymeleaf(SSR) 실습에 React·REST로 프론트/백을 나누고 MCP로 툴·에이전트 런타임을 표준 프로토콜로 연동하는 확장을 더해 실제 운영 환경 수준의 AI 아키텍처 설계 역량을 갖추도록 합니다. 최종 목표는 단일 API 연동·프롬프트 수준에 머무는 단순한 AI 이용자가 아니라, Multi-LLM·에이전트·워크플로·선언·검증을 하나의 실행 아키텍처로 설명·절충할 수 있는, AI 시스템을 설계할 수 있는 개발자로 성장하는 것입니다.

(4.8) 수강평 5개

수강생 68명

난이도 초급

수강기한 무제한

  • 이진만(tootoo)
실습 중심
실습 중심
AI 활용법
AI 활용법
springai
springai
AI 코딩
AI 코딩
실습 중심
실습 중심
AI 활용법
AI 활용법
springai
springai
AI 코딩
AI 코딩
NHN
네이버웹툰
NHN 커머스
NHN KCP
현대오토에버

현대오토에버

임직원들도 이 강의를 듣고 있어요!

NHN
네이버웹툰
NHN 커머스
NHN KCP
현대오토에버

현대오토에버

임직원들도 이 강의를 듣고 있어요!

먼저 경험한 수강생들의 후기

4.8

5.0

김정현

41% 수강 후 작성

Spring AI 로 Multi-LLM 활용하는 방법과 Agent 개발 방법에 대한 지식이 필요했었는데... 많은 도움이 되었어요. 설명이 명확하고 예제가 좋아 이해가 잘 되었습니다.

5.0

이은범

55% 수강 후 작성

Multi-LLM 아키텍처와 Agent 기반 AI 시스템 설계를 체계적으로 배울 수 있는 강의였습니다. 단순한 LLM 활용이 아니라 Orchestrator, Workflow 패턴, 품질 평가 루프 등 실제 서비스에 가까운 구조를 실습으로 경험할 수 있어서 좋았어요. AI 백엔드 아키텍처에 관심 있는 개발자에게 도움이 되는 강의라고 생각해요!!

5.0

희성

45% 수강 후 작성

파트 1에 이어 이번 파트 2 강의도 이제 막 Spring AI의 심화 과정을 접한 입문자는 물론, 효율적인 아키텍처 설계가 필요한 분들에게 적극 추천드립니다. ​저 같은 경우에는 이번에도 제공된 Multi-LLM 아키텍처와 Agentic Workflow 구성을 위한 상세한 학습 자료 덕분에, 복잡한 오케스트레이션 개념을 이론에 그치지 않고 제공된 코드를 바로 실행해보며 핵심 로직을 빠르게 체득할 수 있어서 손쉽게 학습하고 있습니다.

수강 후 이런걸 얻을 수 있어요

  • Multi-LLM 기반 AI 아키텍처 설계 능력

  • Agentic Workflow 패턴을 실무에 적용 방법

  • Orchestrated Multi-Agent 시스템 구현 설계 및 구축 능력

  • DAG(Directed Acyclic Graph) 워크플로 엔진 설계 및 구현 능력

  • DAG 기반 선언적 워크플로 와 검증 시스템 구현

  • 실무 수준의 AI 서비스 백엔드 구조 이해

Spring AI로 구현하는 Multi-LLM & Orchestrated Multi-Agent 시스템

(DAG · Tool · Task · YAML DSL 기반 엔터프라이즈 AI 시스템 설계)


본 과정에서 배우는 시스템으로 아래와 같은 복합 업무·의사결정을 처리 하는 시스템을 구축 하는 것이

본 과정의 목적입니다. 즉 Multi-LLM 기반 Orchestration 중심 Multi Agent 시스템을 구축 하고자 합니다.



본 과정은 Spring AI 기반으로 GPT, Gemini, LLaMA를 전략적으로 조합하여 Multi-LLM 아키텍처와 Orchestrated Multi-Agent 시스템을 실무 수준에서 설계하고 구현하는 과정입니다.

아래 3단계 확장 로드맵으로 구조를 쌓아 갑니다. 각 단계는 앞 단계의 실행·모델·협업 방식을 전제로 합니다.

Appendix 에서는 React·REST API 확장 과 MCP Integration(Model Context Protocol로 Tool·에이전트 런타임 연동)확장을 진행 합니다.



💡본 과정의 핵심 내용

  • Multi-LLM Architecture

  • Agentic Workflow Patterns

  • Orchestrated Multi-Agent

  • Main Agent & Sub Agent + Agent Registry

  • Tool-Orchestrated

  • Task-Orchestrated & Runtime


  • DAG-Orchestrated(선언·검증 DSL)

  • HTTP·SSE·Redis 연동

  • Circuit Breaker·Redis 모니터링·병렬 처리·Evaluator–Optimizer

  • 확장성 : React·REST· MCP Server/Client 확장

💡본 과정의 특징

  • 이론이 아닌, Spring AI·스프링 부트 기반 구현·실습 (Thymeleaf + React·MCP 확장)

  • Multi-LLM라우팅·Fallback·보안 분기단일 모델이 아닌모델 전략 설계

  • Orchestrated Multi-AgentMain/Sub·Tool·Task Runtime·서비스 파이프라인(전략·정밀·투표형 협업) 으로 에이전트를 조율하는 시스템을 구현

  • DAG-Orchestrated Multi-Agent(DAG기반 AI Workflow 설계)

  • HTTP·SSE·RedisTask 단위진행·상태를 엮는 모니터링 구조

💡본 학습 내용

1⃣ SpringBoot에서 Spring AI 개발 환경 및 Multi LLM 환경 구축

2⃣ Chapter 1. Multi-LLM Architecture(다중 모델 과 AI 아키텍처 설계)

3⃣ Chapter 2. Agentic Workflow Patterns(5가지 Agent Workflow 패턴)

4⃣ Chapter 3. Orchestrated Multi-Agent Patterns(파이프라인으로 구현)

5⃣ Chapter 4. Multi-Agent Architecture (Main Agent & SubAgent 분리 전략)

6⃣ Chapter 5. Tool-Orchestrated Multi-Agent(Tool 기반 실행 레이어 분리)

7⃣ Chapter 6. Task-Orchestrated Multi-Agent(TaskTool Agent Runtime)

8⃣ Chapter 7. DAG-Orchestrated Multi-Agent(DAG기반 AI Workflow 설계)

9⃣ Chapter 8. Declarative Agent Workflow with YAML(YAML 기반 DAG)

🔟 Chapter 9. Validated Agent Workflow DSL(DSL 검증 기반 DAG)

🅰️Appendix A. React Front-End & REST API Server Integration

🅱️ Appendix B. MCP Integration(MCP로 Tool·에이전트 런타임 연동)

이런 내용을 배워요


1⃣ SpringBoot에서 Spring AI 개발 환경 및 Multi LLM 환경 구축


AI 아키텍처 설계 이전에, 실무 수준의 Spring AI 개발 환경을 완성합니다.

단순 라이브러리 추가가 아닌, 실습 중심 프로젝트 기반으로 수업이 진행됩니다.

✔ 실습 프로젝트에 교안이 함께 포함
✔ 코드와 이론을 동시에 확인
✔ 바로 실행 가능한 구조 제공

학습 내용

  1. 개발환경 및 수업 전체 구조 설명

  2. 실습 프로젝트 생성 및 교안 세팅

  3. OpenAI API Key 발급 및 연동

  4. Gemini API Key 발급 및 연동

  5. Ollama 환경 셋팅 및 Llama 3.2 셋팅

  6. Spring AI 환경 설정 및 기본 구조 이해

  7. Redis 연동 설정



2⃣Chapter 1. Multi-LLM Architecture(다중 모델 과 AI 아키텍처 설계)

단일 모델이 아닌, 전략적 Multi-LLM 구조를 설계합니다.

모델이 늘어날수록 운영·비용·보안 이슈가 커집니다. Multi-LLM Architecture는 장기적으로 교체·확장·감사 가능한 AI 서비스를 만들기 위한 기반이 되면 이후 Orchestrated Multi-Agent System 구축에 핵심 기반 기술이 됩니다.


학습 내용

1. Multi LLM

GPT, Gemini, LLaMA 3개의 LLM을 동시에 사용하는 구조 및 요청 유형과 전략에 따라 적절한 모델을 선택하는 Multi-LLM 기반 서비스 아키텍처를 구현합니다.

2. Multi LLM Stream

Reactive Streams(Project Reactor) 기반 스트리밍 처리

3. Fallback (장애 대응 아키텍처)

엔터프라이즈에서는 정확도만큼 가용성이 중요합니다. 주 모델·보조 모델, 장애·타임아웃 시 전환, 재시도 정책을 묶어 단일 모델 장애가 서비스 전체를 멈추지 않게 합니다.(Resilience4j CircuitBreaker 적용)

4. Router (모델 전략 분류)

요청을 이해한 뒤 요청 유형·비용·정확도·복잡도·지연 등 기준으로 적절한 모델로 보내는 의사결정 계층입니다. 단순 분기문이 아니라 서비스 정책이 드러나는 층입니다.

5. Security (민감정보 보호 아키텍처)

입력 분석·민감 정보 판단 후 내부(온프레미스 등) 모델과 외부 API 모델 중 어디로 보낼지 정합니다. 데이터 주권·규제 요구에 맞춘 보안 중심 라우팅입니다.




3⃣Chapter 2. Agentic Workflow Patterns(5가지 Agent Workflow 패턴)

LLM 호출을 상태·분기·동시성·피드백 루프가 있는 오케스트레이션으로 묶는 패턴을 다룹니다.

Spring AI 문서의 Effective Agents가 제시하는 워크플로 유형과 Anthropic 엔지니어링 글 Building Effective Agents가 강조하는 단순한 추상화·명시적 구성(composability)을 기반으로 5가지의 Patter으로 나누어서 설명 합니다.


학습 내용

1. Chain Workflow

  • 작업을 순차적으로 연결하여 이전 단계의 결과를 다음 단계의 입력으로 전달하는 구조

  • 사용 이유: 단계적 사고 및 절차적 실행 보장

2. Parallelization Workflow

  • 동일 입력을 여러 LLM에 병렬로 실행하고 결과를 병합하는 구조

  • 사용 이유: 모델 간 전문성 동시 활

3. Routing Workflow

  • 입력 조건에 따라 최적의 LLM으로 분기 처리하는 구조

  • 사용 이유: 요청 난이도·유형별 최적 모델 선택

4. Orchestrator-Workers

  • 중앙 Orchestrator가 Multi LLM을 각 역할 별 실행 후 최종결합 하는 구조

  • 사용 이유: 역할 기반 책임 분리 구조 구현

5. Evaluator-Optimizer

  • 생성 결과를 평가하고 개선하는 반복 구조

  • 사용 이유: 반복 개선을 통한 품질 안정화



4⃣Chapter 3. Orchestrated Multi-Agent Patterns(파이프라인 구현)

Multi-Agent 구조를 실제 서비스 파이프라인으로 구현하기

5가지 Pattern을 복합적으로 이용하여 Orchestrated Multi-Agent Pattern을 구체화 합니다.
단계별 상태 전이·예외 격리·재시도까지 포함한 엔드투엔드 흐름을 다루며 목표는 단순 응답 생성이 아니라, 다양한 현장의 운영 환경에서 요구되는 확장성(추가 단계)·품질 안정성(평가·개선)·신뢰성(합의·교차 검증)을 고려한 시스템 설계를 하는 것입니다.

학습 내용

1. Strategic Analysis Pattern

  • 전략 품질을 극대화하기 위한 반복 개선 기반 분석 서비스를 구현합니다.



2. Precision Execution Pattern

  • 아이디어를 실제 실행 산출물(코드/문서)로 완성하는 실행 중심 서비스를 구현합니다.


3. Voting Analysis Pattern

  • 모델 편향 제거 및 신뢰도 향상을 위한 합의 기반 분석 서비스를 구현합니다.


4. Auto Pattern Routing

  • 질문을 분석해 Strategic / Precision / Voting 중 적합한 파이프라인으로 자동 위임합니다.



5⃣ Chapter 4. Multi-Agent Architecture (Main Agent & SubAgent 분리 전략

Main(Main agent, Orchestrator agent) 하나 + 여러 개의 역할 전용 SubAgent 구조

Main (Main agent, Orchestrator agent)이 맡는 제어 계층Sub (Sub agent, Tool agent 등)가 맡는 역할 전용 실행 계층(Sub agent)을 나눈 Multi-Agent 구조를 다룹니다


6⃣ Chapter 5. Tool-Orchestrated Multi-Agent(Tool 기반 실행 레이어 분리)

Tool을 이용한 실행 레이어 분리 아키텍처

RAG나 데이터베이스 연동이 필요하다면, 해당 Tool 안에서 외부 API·DB·Vector Store를 호출한 뒤 그 결과를 SubAgent에 넘기는 식으로 “Agent + Tool + SubAgent + 외부 데이터”를 한 층으로 묶을 수 있습니다.

7⃣ Chapter 6. Task-Orchestrated Multi-Agent(TaskTool Agent Runtime)

TaskTool 기반 Agent Runtime 설계

“Agent Runtime(TaskTool) + Markdown 서브에이전트 + TodoWrite” 구현

8⃣ Chapter 7. DAG-Orchestrated Multi-Agent(DAG기반 AI Workflow 설계)

엔터프라이즈급 DAG 기반 AI Workflow 설계

DAG(Directed Acyclic Graph, 방향 비순환 그래프) 엔진을 구축 하여 그래프를 읽어 실행 가능한 노드를 스케줄링하는 형태로 바꿉니다.



9⃣ Chapter 8. Declarative Agent Workflow with YAML(YAML 기반 DAG)
YAML 기반 DAG 정의와 실행 엔진 분리

DAG 엔진 위에 선언적 YAML로 적힌 워크플로 DSL 정의로 바꿔 복잡한 Agent Workflow를 더 안전하고 유연하게 운용할 수 있습니다. 또한 하나의 DAG 엔진에 DSL을 이용하여 워크플로 구조 변경에 유연하고 런타임 재구성도 용이하게 합니다.

🔟 Chapter 9. Validated Agent Workflow DSL(DSL 검증 기반 DAG)

스키마·의존성 검증으로 신뢰하는 YAML 워크플로 DSL

DSL 문을 DAG 엔진의 스케줄링에 넣기 전에 오타·잘못된 내용이나 사이클·필수 필드 누락 같은 선언 오류를 걸러 내는 로딩 파이프라인의 검증층을 추가 합니다.

🅰️Appendix A. React Front-End & REST API Server Integration

Thymeleaf 실습을 React·REST API Server로 변환 합니다.



🅱️ Appendix B. MCP Integration(MCP로 Tool·에이전트 런타임 연동)
MCP Client가 MCP Server의 에이전트/오케스트레이터에 어떻게 연결 하는지를 공부 합니다.



💡이 강의에서 배우는 핵심 내용

✔ Multi-LLM 전략 설계
✔ Agentic Workflow 구현
✔ 오케스트레이션 기반 협업 구조
✔ 장애 대응 + 안정성 설계
✔ 반복 평가 기반 품질 개선 시스템

💡최종 목표

  • 이 과정은 단순히 LLM을 사용하는 방법을 배우는 과정이 아닙니다.


    Multi-LLM 전략 설계 → Workflow 패턴 적용 → Multi-Agent 오케스트레이션 완성

    실제 서비스에 적용 가능한 AI 시스템 설계 역량을 만드는 과정입니다.

수강 전 참고 사항

실습 환경

  • 운영 체제 및 버전(OS): Windows, macOS, Linux 등 모든 OS가 가능합니다.

  • 사용 도구: JDK,Intellij(Ultimate or Community),Redis& Docker,VSCode

  • LLM: GPT, Gemini, Llama

  • PC 사양: 인터넷 접속이 가능한 기본 사양의 PC

학습 자료

  • 제공하는 학습 자료 형식: 교육 환경 프로젝트, 교안 등 다양한 형태의 자료 제공

  • 분량 및 용량: 각 섹션별로 학습 자료 제공

선수 지식 및 유의사항

  • HTML, CSS, JavaScript 기본 지식 보유자.

  • Java, SpringBoot 개발 경험자

  • 질문은 게시판에 올려 주시면 바로 답변 할 수 있도록 하겠습니다.


  • 본 강의의 저작권은 (주)토네솔에 있으며, 무단 배포 및 복제를 금지합니다. 학습 자료 역시 저작권이 있으며, 개인적인 학습 목적 외 사용을 금합니다.

해당 템플릿은 'AWS DeepRacer로 배우는 인공지능과 자율주행' 강의를 참고하여 제공하고 있습니다.

이런 분들께
추천드려요

학습 대상은
누구일까요?

  • ✔ Multi-LLM 전략 수립가

  • ✔ Agentic Workflow 설계자

  • ✔ 오케스트레이션 기반 Multi-Agent 시스템 구현 개발자

  • ✔ 장애 대응과 품질 개선까지 고려한 Production Level 구조 설계자

선수 지식,
필요할까요?

  • HTML, CSS, JavaScript 기초 지식

  • Java, SpringBoot 시스템 개발 경험자

안녕하세요
입니다.

204

수강생

15

수강평

3

답변

4.9

강의 평점

2

강의

안녕하세요

지식공유자 이진만(닉네임 tootoo) 입니다.

오랜 시간 강의실에서 여러분들과 소통을 했습니다.

이제 온라인 상에서 여러분들과 소통 할 수 있도록 좋은 컨텐츠 만들어 보겠습니다.

jmlee@tonesol.com

감사합니다.

커리큘럼

전체

44개 ∙ (14시간 8분)

해당 강의에서 제공:

수업자료
강의 게시일: 
마지막 업데이트일: 

수강평

전체

5개

4.8

5개의 수강평

  • syyeo81님의 프로필 이미지
    syyeo81

    수강평 2

    평균 평점 5.0

    5

    50% 수강 후 작성

    이전에 구매해서 보고있었는데 최근에 업데이트가 되었네요 기존 내용이 조금 아쉬웠는데 이번에 목차보니 많은 내용이 추가되었네요 ㅎㅎ 요즘 바뻐서 볼시간 없지만 다시 도전해 보겠습니다

    • 김정현님의 프로필 이미지
      김정현

      수강평 16

      평균 평점 5.0

      5

      41% 수강 후 작성

      Spring AI 로 Multi-LLM 활용하는 방법과 Agent 개발 방법에 대한 지식이 필요했었는데... 많은 도움이 되었어요. 설명이 명확하고 예제가 좋아 이해가 잘 되었습니다.

      • 이은범님의 프로필 이미지
        이은범

        수강평 2

        평균 평점 5.0

        5

        55% 수강 후 작성

        Multi-LLM 아키텍처와 Agent 기반 AI 시스템 설계를 체계적으로 배울 수 있는 강의였습니다. 단순한 LLM 활용이 아니라 Orchestrator, Workflow 패턴, 품질 평가 루프 등 실제 서비스에 가까운 구조를 실습으로 경험할 수 있어서 좋았어요. AI 백엔드 아키텍처에 관심 있는 개발자에게 도움이 되는 강의라고 생각해요!!

        • 희성님의 프로필 이미지
          희성

          수강평 2

          평균 평점 5.0

          5

          45% 수강 후 작성

          파트 1에 이어 이번 파트 2 강의도 이제 막 Spring AI의 심화 과정을 접한 입문자는 물론, 효율적인 아키텍처 설계가 필요한 분들에게 적극 추천드립니다. ​저 같은 경우에는 이번에도 제공된 Multi-LLM 아키텍처와 Agentic Workflow 구성을 위한 상세한 학습 자료 덕분에, 복잡한 오케스트레이션 개념을 이론에 그치지 않고 제공된 코드를 바로 실행해보며 핵심 로직을 빠르게 체득할 수 있어서 손쉽게 학습하고 있습니다.

          • teddy님의 프로필 이미지
            teddy

            수강평 13

            평균 평점 4.3

            4

            100% 수강 후 작성

            준수했습니다.

            이진만(tootoo)님의 다른 강의

            지식공유자님의 다른 강의를 만나보세요!

            비슷한 강의

            같은 분야의 다른 강의를 만나보세요!