강의

멘토링

로드맵

AI 입문을 위한 LLM 아키텍처 이해와 GPU 활용전략

트랜스포머 기반 LLM 아키텍처와 GPU 활용 전략을 이해하고, vLLM을 활용한 실제 서빙 과정까지 직접 실습합니다. AI 시스템 파이프라인 구축부터 모니터링, 멀티 GPU 활용까지 실무 흐름 전체를 다루며, 복잡한 수식 없이 그림과 실습 중심으로 직관적으로 이해할 수 있도록 구성한 강의입니다.

(5.0) 수강평 12개

수강생 184명

난이도 초급

수강기한 무제한

삼성
LGCNS
LGCNS 비즈테크파트너스
롯데쇼핑 이커머스사업본부
넥슨코리아

넥슨코리아

임직원들도 이 강의를 듣고 있어요!

삼성
LGCNS
LGCNS 비즈테크파트너스
롯데쇼핑 이커머스사업본부
넥슨코리아

넥슨코리아

임직원들도 이 강의를 듣고 있어요!

먼저 경험한 수강생들의 후기

5.0

5.0

WonJune Lee

43% 수강 후 작성

저는 딥러닝 관련 업종은 아니고 컴퓨터 비전(rule-based) 분야에서 일하고 있습니다. 회사에 LLM과 비전쪽 딥러닝 기술이 필요하여 관련 주제 공부 하고 있습니다. 아직 40%정도밖에 안들었지만 수강평을 적어야겠다 싶어서 올립니다. 딥러닝 관련 강의들도 많이 들어보고 나름 유명하고 평 좋은 분들 강의도 들어봤지만 이 강의만큼 깔끔한 강의는 없었습니다. 가장 좋은건 강의 자료 퀄리티가 훌륭합니다. 엑셀로 행렬 계산 하나하나 적어두셨는데 복습할때 정말 많이 도움됩니다. 파이썬 코드도 많은 곳에 주석이 달려있구요. 강의 퀄리티도 좋아서 수강생들이 까먹었을것 같은 부분은 리마인드 시켜주셔서 놓치지 않게 해주어서 좋았습니다. 계산도 대부분 다른 강의에선 한두번 보여주면 넘기는데 이 강의에선 끝까지 같이 계산해줘서 확실해서 좋았습니다. Q&A도 수시로 보시는지 질문 올리면 바로 답변주셔서 좋았구요. 강의를 아마 올해 찍으신거 같은데 그래서 그런지 최신 트렌드 내용이 많아서 좋습니다. 아직 입소문이 덜 탄 강의 같은데 관련 주제로 공부가 필요하신 분들께 정말 강추드립니다.

5.0

김민서

31% 수강 후 작성

도움이 많이 돼요

5.0

logt

100% 수강 후 작성

완강했어요~! 양질의 교육 제공해주셔서 정말 감사합니다!! QnA 에 기록 남긴 것을 제외하고 Windows 기반에서 모든 실습 하는 데 문제 없었습니다~!

수강 후 이런걸 얻을 수 있어요

  • 트랜스포머 모델의 인코더·디코더 구조와 핵심 동작 원리 이해

  • MHA, MQA, GQA, MLA 등 최신 어텐션 메커니즘의 발전 흐름 이해

  • 현재 AI 서빙의 사실상 표준인 vLLM 엔진 활용 방법 실습

  • vLLM 서빙 환경에서 TTFT, TPOT 등 주요 성능 지표 모니터링

  • Tensor/Pipeline/Data Parallel을 활용한 멀티 GPU 아키텍처 설계 및 구현

  • Agent AI의 핵심 개념과 Tool Calling 동작 원리 이해

  • 실제 현업 관점의 AI 시스템 파이프라인 구축 및 성능 모니터링 경험

  • 최신 논문 기반으로 MLA, MTP, 엔그램 등 최신 LLM 트렌드 이해

AI Agent 시대,
이제는 AI 시스템을 이해하는 실무 역량이 중요해지고 있습니다

Transformer 기반 LLM 구조부터
GPU 활용·vLLM 서빙·멀티 GPU 전략까지

LLM 아키텍처 실무 클래스

자율형 AI Agent 시대에는
OpenAI, Claude, Codex 등 다양한 Agent 도구와 Public API를 활용할 수 있습니다.

하지만 실제 서비스 환경에서는
데이터 보안, 네트워크 비용, 토큰 비용, GPU 자원 관리까지 함께 고려해야 합니다.

그래서 중요한 것은
Public API와 자체 GPU 기반 LLM을 상황에 맞게 조합하는
Hybrid AI 아키텍처에 대한 이해입니다.


그렇다면 Public API만 사용하는 것이 항상 최선일까요?

꼭 그렇지는 않습니다.

요즘엔 public API(chatGPT, Claude, Sonnet etc.) 에 맞먹는
LLM 국내/외에서 다수 개발되고 있습니다.  



국내 소버린 AI 1차 평가 결과 선정된 3가지 모델


그러나 LLM을 잘 알고 사용하는 것은 쉽지 않습니다.
비싼 GPU를 구매해놓고
LLM을 이해하고 사용하는 것과 이해하지 않고 사용하는 것은
많은 차이를 가져옵니다.

그래서 이제는 LLM을 직접 서빙하기 위한 아키텍처를 배울 단계입니다.


🌟 From LLM Architecture to Serving


대 에이전트의 시대를 맞이하여 이제는 학습보다 추론의 시대입니다. Public API를 잘 사용하는 것도 필요하지만 많은 기업에서는 보안, 거버넌스, 비용 등 여러 이유로 로컬 환경의 서빙 환경 구축을 선호합니다.로컬 환경 LLM 서빙 환경을 구축하기 위한 LLM 아키텍처의 이해부터 아키텍처 구성, LLM 개발 트렌드까지 모든 것을 배워보세요.


강의 Core 구성

Core 1. 허깅페이스 모델 이해하기


허깅페이스에 공개된 수 많은 LLM 알고 써야 합니다.
그러나 LLM 모델의 스펙을 알려주는 config.json 파일은 초보자에게는 암호문과 다름 없습니다. 왜냐하면 트랜스포머(transformer) 모델을 이해하고 있어야 볼 수 있거든요.

하지만 걱정 마세요. 이 강의를 듣고 나면 주요 스펙은 보고 이해할 수 있는 전문가가 되실 수 있습니다.

강의를 통해 config.json 파일을 해독하는 방법을 터득하세요.

(챕터 3-5 부분의 내용입니다. 나머지 주요 파라미터에 대해 모두 얻어가세요)


Core 2. 어텐션 마스터하기

현재 LLM 모델의 기반이 되는 트랜스포머 모델의 시작과 끝은 어텐션입니다.

attention-model 은 2017년에 등장했지만
아직도 10년 가까이 최강 알고리즘으로 군림하고 있습니다.
트랜스포머 구조를 벗어나기 위한 많은 노력들이 이뤄지고 있지만
아직까지 트랜스포머의 어텐션을 완전히 대체하는 아키텍처는 나오지 않았습니다.

⚠️ 어텐션은 대충 알아서는 절대 안됩니다.


어텐션의 원리를 완벽 이해하고 발전 흐름까지 배워가세요.

(챕터 5-4 부분의 내용입니다. 어텐션의 발전 흐름이 곧 LLM의 발전 흐름입니다)


Core 3. 멀티 GPU 아키텍처 정복하기

대규모 LLM 구동과 빠른 추론을 위한 멀티 GPU 구성은 필수입니다.
하지만 멀티 GPU 구성에도 여러 방법이 있다는 것, 아시나요?


핵심 AI 엔지니어가 되기 위한 필수 관문, GPU 활용 전략에 대해 전수해 드립니다.




😄 이런 분들께 추천해요

AI 초보자

트랜스포머와 어텐션 구조를 공부해보고 싶었지만,
복잡한 수식과 개념 때문에 어려움을 느꼈던 분

AI 입문자

ChatGPT나 생성형 AI 서비스를 사용해봤지만,
LLM이 실제 어떻게 동작하는지 원리를 이해하고 싶은 분

AI 엔지니어

LLM 아키텍처와 GPU 환경을 이해하고,
실제 AI 시스템을 구축·운영할 역량이 필요한 AI 엔지니어

💡 강의에서 배우는 내용

Step 1. Foundation

  • 트랜스포머 모델 이해

  • 토크나이저 & 임베딩

  • Encoder vs Decoder

  • 모델 소스코드 보기

Step 2. Attention

  • Docoder 모델 정복

  • 어텐션 마스터하기

  • Masked 어텐션

  • KV Cache

Step 3. Serving

  • vLLM Serving

  • Paged Attention

  • OpenAI Compatible

  • SSE Protocol

Step 4. Tool Call

  • Tool Call 이해

  • Tool 응답 아키텍처

  • Chat Template

  • Tool call parser

Step 5. Optimazation

  • 성능 테스트

  • vLLM 모니터링

  • 멀티 GPU & Parallelism

  • vLLM 추가 기능들

Step 6. Advanced

  • Multi Token Prediction

  • mHC

  • Engram

  • 한계 극복을 위한 노력들

💡 강의 핵심 Point

Point 1

수식없이 배우는 어텐션의 핵심 원리


수식없이 엑셀을 통해 직관적으로 다양한 어텐션 기법을 배웁니다 (MHA → MQA → GQA, Sliding Window 어텐션)

Point 2

3 Tier 구조의 AI 아키텍처 구현


OpenWebUI와 FastAPI, vLLM으로 이어지는 3Tier 아키텍처의 기본 구조를 이해하고 Tool 연동의 기본 흐름을 배웁니다

Point 3

vLLM 운영을 위한 동시 사용자 수 측정과 Tip

jMeter를 사용하여 FastAPI → vLLM 부하 테스트를 통해 동시 사용자 수에 따른 TTFT, TPOT 등 지표를 확인합니다.

Point 4

vLLM 서비스의 모니터링

프로메테우스 & 그라파나 대시보드 파이프라인을 구축하여 vLLM 서비스 운영에 대한 기본 원리를 터득합니다.

Point 5

단일GPU / 멀티 GPU 테스트 

3가지 기본 멀티 GPU (Pipeline Paralle, Tensor Parallel, Data Parallel)에 대한 실습을 통해 멀티 GPU가 왜 필요한지 직접 눈으로 확인합니다.

Point 6

LLM 개발 트렌드 정복하기

딥시크의 MTP, Shared MoE, MLA, Engram 등 최신 기법과 추론 효율화를 위해 진행되고 있는 LLM 개발 트렌드를 소개합니다.

✅ 강의에서 사용하는 도구들




✅ 서버 실습 환경 안내

vLLM 시스템 구축은 Runpod을 활용하여 진행됩니다. 또한 Google Colab의 T4 GPU를 활용한 실습도 병행됩니다. T4 GPU는 15GB의 GPU 메모리를 제공해주고 있어서 Colab에서 가능한 실습은 Colab에서 진행합니다.

Runpod

OpenWebUI → FastAPI → Runpod 플로우 기반 실습 환경을 구성합니다. Runpod 클라우드의 GPU 서버에 vLLM을 올려 여러 실습을 진행합니다.

실습을 위해 약 $10 ~ $20 정도의 실습 비용이 발생합니다.


Google Colab

인공지능(AI) 실습 표준 환경과도 같은 Google Colab은 Runpod 환경이 필요없는 단순 실습을 위해 활용합니다. Pro가 아닌 일반 무료 티어로 진행하며 T4 GPU를 활용합니다.

✅ 로컬 실습 환경 안내

vLLM 서비스는 Runpod에 띄우지만
강의를 수강하시는 로컬 컴퓨터에도 OpenwebUI 및 FastAPI가 구동됩니다.
따라서 아래 수강 환경이 만족되는지 확인 해주세요!



RunpodColab을 주 실습 환경으로 사용하지만
로컬 환경 내 OpenWebUI, FastAPI를 띄워서 실습하게 됩니다.

⚠️ 본 강의는 vLLM이 업데이트되면 강의도 함께 업데이트 됩니다.

vLLM의 업데이트 속도는 매우 빠릅니다. 그러나 아직 Major 버전은 0버전대에 머물러 있습니다.
하지만 많은 기업에서 사실상의 표준처럼 vLLM을 추론 엔진으로 사용하고 있습니다. 
현재 LLM의 주축을 이루는 트랜스포머 모델 뿐만 아니라 대안으로 등장한 Mamba 아키텍처까지 vLLM에서 지원하고 있으며 Multi Token Prediction 과 같이 모델에 새로운 기능이 추가되면 이를 뒷받침하기 위해 vLLM은 매번 업데이트 됩니다. 
본 강의 또한 새로운 vLLM의 기능 또는 새로운 모델 타입이 나오면 강의가 업데이트 될 예정입니다. 

LLM의 트렌드를 놓치지 마세요. 


이런 분들께
추천드려요

학습 대상은
누구일까요?

  • ChatGPT와 생성형 AI를 사용하고 있지만, LLM이 실제 어떻게 동작하는지 이해하고 싶은 실무자

  • AI 엔지니어를 목표로 LLM 서빙과 시스템 구조를 체계적으로 배우고 싶은 입문자

  • 복잡한 수식 없이 트랜스포머와 어텐션 구조를 실무 관점에서 이해하고 싶은 개발자

  • GPU 최적화와 멀티 GPU 환경에서 실제 AI 시스템 구축 흐름을 이해하고 싶은 백엔드·인프라 엔지니어

  • AI 서비스 기획 및 개발 과정에서 LLM 구조와 GPU 활용 전략을 이해하고 싶은 PM·기획자

선수 지식,
필요할까요?

  • 파이썬 기본 문법에 대한 이해 (변수, 함수, 조건문 등)

  • git 에 대한 기본적인 사용법

안녕하세요
김현진입니다.

인프런인증

1,604

수강생

111

수강평

241

답변

4.9

강의 평점

3

강의

안녕하세요.

대기업 데이터 & AI 분야에서 일하고 있는 17년차 현직자입니다.

정보관리기술사를 취득한 이후 지금까지 얻은 지식을 많은 사람들에게 공유하고자 컨텐츠 제작하고 있습니다.

반갑습니다. :)

 

Contact: hjkim_sun@naver.com

커리큘럼

전체

54개 ∙ (14시간 27분)

해당 강의에서 제공:

수업자료
강의 게시일: 
마지막 업데이트일: 

수강평

전체

12개

5.0

12개의 수강평

  • WonJune Lee님의 프로필 이미지
    WonJune Lee

    수강평 3

    평균 평점 5.0

    수정됨

    5

    43% 수강 후 작성

    저는 딥러닝 관련 업종은 아니고 컴퓨터 비전(rule-based) 분야에서 일하고 있습니다. 회사에 LLM과 비전쪽 딥러닝 기술이 필요하여 관련 주제 공부 하고 있습니다. 아직 40%정도밖에 안들었지만 수강평을 적어야겠다 싶어서 올립니다. 딥러닝 관련 강의들도 많이 들어보고 나름 유명하고 평 좋은 분들 강의도 들어봤지만 이 강의만큼 깔끔한 강의는 없었습니다. 가장 좋은건 강의 자료 퀄리티가 훌륭합니다. 엑셀로 행렬 계산 하나하나 적어두셨는데 복습할때 정말 많이 도움됩니다. 파이썬 코드도 많은 곳에 주석이 달려있구요. 강의 퀄리티도 좋아서 수강생들이 까먹었을것 같은 부분은 리마인드 시켜주셔서 놓치지 않게 해주어서 좋았습니다. 계산도 대부분 다른 강의에선 한두번 보여주면 넘기는데 이 강의에선 끝까지 같이 계산해줘서 확실해서 좋았습니다. Q&A도 수시로 보시는지 질문 올리면 바로 답변주셔서 좋았구요. 강의를 아마 올해 찍으신거 같은데 그래서 그런지 최신 트렌드 내용이 많아서 좋습니다. 아직 입소문이 덜 탄 강의 같은데 관련 주제로 공부가 필요하신 분들께 정말 강추드립니다.

    • 김현진
      지식공유자

      안녕하세요 Wonjune lee 님 정성스런 수강평 감사드립니다! 수강하시는 분들께서 충분히 의미있는 자료를 받고 나중에 보더라도 충분히 복습이 될 수 있도록 강의 자료 퀄리티를 높이기 위해 고민을 많이 했습니다. 그리고 어텐션과 같은 연산을 어떻게 전달해야 효과적으로 전달할지 고민을 많이 했습니다. 제가 내린 결론은 수식으로만 봐서도 안되고 그냥 간단한 비유를 통해서 전달해서도 안되고 torch 코드로 설명해도 안된다라는게 제 결론이었습니다. 눈으로 흐름을 쫒아가며 봐야 이해가 된다는 생각에 엑셀로 최대한 설명해드렸는데 잘 전달이 된 것 같아서 기쁩니다 :) 남은 부분 잘 수강하셔서 좋은 내용 얻어가셨으면 좋겠습니다. 화이팅입니다!

  • nova7tr님의 프로필 이미지
    nova7tr

    수강평 9

    평균 평점 4.8

    5

    11% 수강 후 작성

    처음 수강하는데 많은 도움이 되네요.^-^

    • 김현진
      지식공유자

      안녕하세요 nova7tr님 수강평 감사드립니다. 도움 되셨다니 저도 기쁘네요. 남은 부분도 잘 수강하시길 바라겠습니다 :)

  • logt님의 프로필 이미지
    logt

    수강평 11

    평균 평점 5.0

    5

    100% 수강 후 작성

    완강했어요~! 양질의 교육 제공해주셔서 정말 감사합니다!! QnA 에 기록 남긴 것을 제외하고 Windows 기반에서 모든 실습 하는 데 문제 없었습니다~!

    • 김민서님의 프로필 이미지
      김민서

      수강평 1

      평균 평점 5.0

      5

      31% 수강 후 작성

      도움이 많이 돼요

      • Jang Jaehoon님의 프로필 이미지
        Jang Jaehoon

        수강평 941

        평균 평점 4.9

        5

        7% 수강 후 작성

        좋은 강의 감사합니다!

        • 김현진
          지식공유자

          안녕하세요 Jang jaehoon님 수강평 감사드립니다 👍 7% 수강하셨네요. 남은 부분도 잘 들으시고 많은 도움 되시길 바래요. 화이팅입니다!

      김현진님의 다른 강의

      지식공유자님의 다른 강의를 만나보세요!

      비슷한 강의

      같은 분야의 다른 강의를 만나보세요!