실리콘밸리 엔지니어와 함께하는 Codex
미쿡엔지니어
ChatGPT만 쓰던 개발자에서 AI 에이전트를 다루는 개발자로. Codex의 Rules, Hooks, Skills, MCP를 활용해 코딩 생산성을 극대화하는 실전 활용법을 배웁니다.
Beginner
인공지능(AI), Python, codex
소프트웨어 데이터 파이프라인을 만들 때 가장 많이 사용하는 Orchestrator(오케스트레이터)인 Apache Airflow(아파치 에어플로우)를 배우실 수 있습니다.







롯데쇼핑 이커머스사업본부
임직원들도 이 강의를 듣고 있어요!





롯데쇼핑 이커머스사업본부
임직원들도 이 강의를 듣고 있어요!
먼저 경험한 수강생들의 후기
5.0
chocheetah
사내에서 기존 스케쥴러를 분리하고 실행 이력 등을 잘 관리하기 위한 용도로 MWAA 도입을 고려하던 중 해당 강의를 듣게 되었습니다. airflow를 어떻게 시작할 지 전혀 모를 때 코드를 작성하면서 로컬 도커 환경을 구성하고 DAG을 생성하면서 어떤 흐름으로 사용해야 할지 감이 잘 왔습니다. 운영 환경에서 각 플랫폼에 맞게 Best Practice를 찾아나가는 과정은 쉽지 않겠지만 공식문서를 읽어가면서 여러가지를 만져볼 수 있는 기초지식을 잘 습득하게 된 것 같습니다. 감사합니다.
5.0
ground
데이터 엔지니어는 무슨 툴을 쓰고 그 툴들이 무엇을 하는지 알 수 있는 강의인것 같습니다. 계속 달려보겠습니다. 항상 좋은 강의 만들어주셔서 감사합니다
5.0
소연
업무에 잘 활용하고 싶어서 강의를 신청했습니다. 기초 공부를 하기에 딱 적당한것 같아요. 실습위주로 진행된 것이 좋았습니다.
데이터 파이프라인 구축
Apache Airflow(아파치 에어플로우)
Apache Spark(아파치 스파크) 소개
MinIO 소개
TaskFlow API
Slack Integration
데이터 파이프라인 필수 도구, Airflow
실리콘밸리 개발자에게 배우세요! 🔥
Airflow(에어플로우)의 간단한 설정과 사용법을 익혀보세요. 여러분의 첫 번째 데이터 워크플로우를 만들 수 있도록 안내해 드리겠습니다.
데이터 분석과 처리 작업이 복잡해지면서 작업의 스케줄링, 의존성 관리, 오류 처리 등의 문제가 더욱 중요해지고 있습니다. 이러한 과제들을 효과적으로 다루기 위해 Airflow는 많은 조직에서 선택하는 핵심 도구 중 하나입니다.
본 강의는 처음 Airflow를 접하는 여러분들을 위해 미리 준비한 강의입니다. 실리콘밸리에서 보편화된 Apache Airflow. 간단하고 쉬운 입문을 도와드릴게요.
자동화된 워크플로우 관리
Airflow는 작업들을 시간에 따라 자동으로 실행하고 관리할 수 있는 강력한 스케줄링 기능을 제공합니다. 데이터 처리 작업을 더 효율적으로 계획하고 실행할 수 있습니다.
의존성 관리
복잡한 데이터 워크플로우에서는 작업 사이의 의존성을 정확하게 관리해야 합니다. Airflow는 작업 간의 의존성을 명확하게 정의하고 작업 간의 순서를 지정할 수 있는 기능을 제공합니다.
강력한 모니터링과 알림
작업이 실행되는 동안 Airflow 대시보드를 통해 작업의 진행 상황을 모니터링할 수 있습니다. 또한 작업이 실패하거나 문제가 발생할 경우 설정한 알림을 통해 빠르게 대응할 수 있습니다.
확장성과 유연성
Airflow는 다양한 플러그인과 라이브러리를 지원합니다. 다양한 데이터 저장소, 작업 실행 환경, 알림 메커니즘과 통합할 수 있어요. 여러분의 요구에 맞게 커스텀한 워크플로우를 구축해 보세요.
커뮤니티와 생태계
Airflow는 활발한 커뮤니티와 풍부한 생태계를 갖추고 있습니다. 그래서 문제 해결에 도움을 받을 수 있는 훌륭한 리소스가 많습니다.
✅ 어려운 개념 없이 쉽게! Airflow가 무엇인지, 왜 필요한지 비유와 예시를 통해 설명합니다.
✅ 실제 Airflow 사용 과정을 따라 하고, 간단한 데이터 워크플로우를 만들어 보는 실습 중심 강의!
✅ 강의 중 궁금하거나 이해하지 못한 부분이 있다면 언제든지 질문해 주세요. Q&A와 함께 학습하세요!
현직 실리콘밸리 엔지니어의 노하우를 그대로 전해드립니다!
저는 유튜브 "미쿡 엔지니어" 및 브런치 "실리콘 밸리 소식과 삶"을 운영하는 현직 소프트웨어 엔지니어입니다. 지금은 미국 University of California, Berkeley EECS를 졸업하고 미국 실리콘밸리 글로벌 빅테크 기업 본사에서 빅데이터 관련 업무를 진행하고 있습니다. 실제 업무에서 알게 된 노하우를 많은 분들께 전해드리고 싶습니다. 🙂
💡
데이터 엔지니어
데이터 워크플로우를 자동화하고 스케줄링하여 데이터 퀄리티와 일관성을 유지하세요.
💡
데이터 분석가
정기적인 데이터 업데이트나 모델 재학습 작업 등을 처리해 보세요.
💡
데이터 과학자
모델 훈련, 평가, 배치 예측 등을 자동화하여 데이터 과학 프로세스를 효율적으로 관리하세요.
💡
시스템 관리자
작업 실행에 대한 투명성과 신뢰성을 높일 수 있습니다.
💡
데이터 엔지니어링 및 개발팀
ETL (Extract, Transform, Load) 작업, API 호출 등 다양한 자동화 작업을 구현할 수 있습니다.
💡
프로젝트 관리자
작업의 의존성, 우선순위, 예상 실행 시간 등을 설정하여 프로젝트 일정을 효과적으로 조정할 수 있습니다.
Q. 왜 Apache Airflow를 배워야 하나요?
Apache Airflow는 데이터 워크플로우 관리 도구로, 데이터 파이프라인을 자동화하고 스케줄링하며 모니터링하는 데 사용됩니다. 이는 데이터 엔지니어, 데이터 사이언티스트, 시스템 관리자 등 다양한 역할에서 효율적인 데이터 워크플로우(Workflow) 관리를 할 수 있습니다.
강의 후반부에는 빅데이타 기술(아파치 스파크)과 연동하는 부분까지 배울 수 있어 많은 파이프 라인을 관리하는 데이타 엔지니어라면 큰 도움이 되실 겁니다.
Q. 비전공자도 들을 수 있는 강의인가요?
비전공자지만 파이썬의 기본을 아시고, 데이터나 작업의 스케줄 워크플로우을 효율화하고 싶으시다면, 많은 도움이 되실 겁니다.
파이썬이 처음이시라면 유튜브를 통해 파이썬 기초를 학습하거나 아래 강의를 먼저 수강해주세요! 기초 부분만 보셔도 전체 강의를 따라오는 데 어려움은 없을 것입니다.
Q. 강의를 듣기 전 준비해야 할 것이 있나요?
아무래도 파이썬으로 코드를 만들다 보니, 기본적인 파이썬 강의는 하지 않습니다. 또한 Docker를 이용한 실습이 나오므로, Docker에 대한 기본적인 지식이 있으면 이해하시기 쉬울 것입니다.
학습 대상은
누구일까요?
데이터 엔지니어링에 종사하시는 분
데이터 엔지니어가 되시고 싶은 분
선수 지식,
필요할까요?
Python
인프런인증
25,127
명
수강생
1,409
개
수강평
364
개
답변
4.8
점
강의 평점
32
개
강의
한국에서 끝낼 거야? 영어로 세계 시장을 뚫어라! 🌍🚀
안녕하세요. UC Berkeley에서 💻 컴퓨터 공학(EECS)을 전공하고, 실리콘 밸리에서 15년 이상을 소프트웨어 엔지니어로 일해왔으며, 현재는 실리콘밸리 빅테크 본사에서 빅데이터와 DevOps를 다루는 Staff Software Engineer로 있습니다.
🧭 실리콘 밸리의 혁신 현장에서 직접 배운 기술과 노하우를 온라인 강의를 통해 이제 여러분과 함께 나누고자 합니다.
🚀 기술 혁신의 최전선에서 배우고 성장해 온 저와 함께, 여러분도 글로벌 무대에서 경쟁할 수 있는 역량을 키워보세요!
🫡 똑똑하지는 않지만, 포기하지 않고 꾸준히 하면 뭐든지 이룰수 있다는 점을 꼭 말씀드리고 싶습니다. 항상 좋은 자료로 옆에서 도움을 드리겠습니다
전체
34개 ∙ (4시간 18분)
해당 강의에서 제공:
전체
57개
4.7
57개의 수강평
수강평 33
∙
평균 평점 5.0
5
급하게 Airflow 3-2 버전 운영 하게되어 구매하게 되었고 결과적으로 큰 도움을 받고 있습니다 오픈소스 기반이다 보니 버전업이 너무 빠르고 동시에 호환되는 라이브러리가 계속 추가 되어 무슨 라이브러리 혹은 패키지를 써야 더 범용적이게 되는지 찾느라 시간이 오래 걸리더라구요 너무나 만족스러운 강의내용이지만 조금더 바래본다면 강의 내용에 공식 문서 이 부분을 참조하세요~ 하는 하단 메시지에 url만 남겨주시면 공식문서 목차 보는 방법도 배울 수 있을거 같습니다 ex) taskflow api 강의 하단에 airflow 2+버전 이상부터는 operator -> taskflow api가 장단점이 많아 주로 사용한다 라는 내용의 공식문서 url 주소 ex) miniO는 ObjectStoragePath, S3Hook 등 여러가지 중 2.8+ 클라우드 스토리지 추상화?로 범용적으로 쓰인다라는 내용의 URL 링크등
안녕하세요 홍태경님, 좋은 리뷰 남겨주셔서 진심으로 감사합니다. 🙏 Airflow는 정말 오픈소스 생태계의 장점과 단점이 모두 있는 프로젝트인 것 같습니다. 말씀하신 것처럼 버전 업그레이드 속도가 빠르고, Provider 패키지나 Operator, Hook, API가 계속 변화하다 보니 실제 운영 환경에서는 "어떤 방식을 선택해야 앞으로도 오래 사용할 수 있을까?"를 판단하는 데 생각보다 많은 시간이 들어가는 것 같습니다. 강의가 도움이 되었다니 정말 기쁩니다. 또한 공식 문서 URL을 함께 제공하면 좋겠다는 의견도 매우 좋은 제안이라고 생각합니다. 단순히 기능 사용법만 배우는 것이 아니라, 공식 문서를 읽고 스스로 최신 정보를 찾아가는 방법까지 익히는 것이 실무에서는 더욱 중요하니까요. 같은 내용을 공식 문서 링크와 함께 제공하면 수강생분들이 이후 버전 변화에도 훨씬 잘 대응할 수 있을 것 같습니다. 다음 업데이트 때는 주요 강의마다 관련 공식 문서 링크와 참고 섹션을 함께 추가하는 방향을 검토해보겠습니다. 좋은 피드백 주셔서 감사드리고, 앞으로도 Airflow 생태계 변화에 맞춰 꾸준히 업데이트하겠습니다. 감사합니다! 😊
수강평 8
∙
평균 평점 5.0
5
데이터파이프라인 설계의 개념과 주요기술을 실무적으로 학습하고 익힐수 있는 좋은 교육이었습니다.
안녕하세요 dojoon.suk님, 소중한 시간내서 좋은 리뷰 남겨주셔서 감사합니다.
수강평 1
∙
평균 평점 2.0
2
이 수업은 기대했던거와는 달리 완강을 했을때 간단한 프로젝트가 완성되는것은 아닙니다. 그리고 가장 중요한 점은 띄엄띄엄 넘어가는 부분이 많다고 느껴집니다. 예를 들어서 다운받으라는 말도 없었는데 갑자기 postgres 사용을 해서 강의를 멈추고 설치 방법 알아보고 에러나면 고치고,, 갑자기 dbeaver켜서 쿼리문 날리며 테이블 생성하는거 보고 다시 부랴부랴 dbeaver 다운로드하고 강의도 예전 영상이 섞여있어서 영상에 나온 문법을 그대로 써봐도 파이썬과 airflow의 버전이 달라 오류나는걸 해결을 못해서 진도를 못나가고 있습니다. 물론 제공해주신 예제 파일에 파이썬 버전 airflow 버전 작성되어있긴한데 뭐가 문제인지는 모르겠네요 전공생인 저도 살짝 버거운데 비전공생분들은 어떠실지 모르겠습니다. 일단 강의는 끝까지 들어보고 수강평은 수정해보겠습니다.
안녕하세요 김영호님, 시간내서 소중한 피드백 주셔서 감사합니다. 제가 한번 다시 강의를 쭉 보고, 보충할 자료가 있으면 넣어보도록 하겠습니다.