Enroll Course: https://www.coursera.org/learn/data-enginering-capstone-project
안녕하세요, 여러분! 오늘은 Coursera에서 제공하는 ‘데이터 엔지니어링 캡스톤 프로젝트’ 과정을 소개하고 리뷰해 보겠습니다. 이 과정은 IBM 데이터 엔지니어링 전문 인증의 일환으로 제공되며, 이전 과정에서 배운 다양한 데이터 엔지니어링 기술과 기법을 적용할 수 있는 기회를 제공합니다.
이 과정에서는 주니어 데이터 엔지니어의 역할을 맡아 실제 사례를 기반으로 데이터 분석 플랫폼을 설계하고 구현하는 방법을 배우게 됩니다. 각 모듈은 실제로 산업에서 많이 사용하는 데이터 엔지니어링 기법을 다루고 있어 매우 유익합니다.
## 과정 개요
– **데이터 플랫폼 아키텍처 및 OLTP 데이터베이스**: MySQL을 사용하여 OLTP 데이터를 저장하는 데이터 플랫폼을 설계합니다.
– **NoSQL 데이터베이스에서 데이터 쿼리하기**: MongoDB를 사용하여 이커머스 카탈로그 데이터를 저장하는 플랫폼을 설계합니다.
– **데이터 웨어하우스 구축**: 데이터 웨어하우스를 설계 및 구현하고, 그 데이터를 기반으로 보고서를 생성합니다.
– **데이터 분석**: 이커머스 회사에서 데이터 엔지니어로서 핵심 지표를 반영하는 보고서 대시보드를 설계합니다.
– **ETL 및 데이터 파이프라인**: 주어진 Python 스크립트를 사용하여 RDBMS에서 NoSQL, NoSQL에서 RDBMS 및 데이터 웨어하우스로 데이터를 이동하는 ETL 작업을 수행합니다.
– **스파크를 이용한 빅데이터 분석**: 웹 서버 데이터를 사용하여 검색어를 분석하고, 선행 학습된 매출 예측 모델을 사용하여 향후 연도 매출을 예측합니다.
– **최종 제출 및 동료 리뷰**: 실습 과정의 스크린샷을 제출하고 동료의 제출물을 리뷰하는 과정을 진행합니다.
이 과정은 실무에서 요구되는 데이터 엔지니어링 역량을 실습 기반으로 쌓을 수 있어, 데이터 엔지니어링에 관심이 있는 분들에게 강력히 추천합니다. 특히, 데이터 플랫폼 설계와 ETL 파이프라인 구축 경험은 미래의 커리어에 큰 도움이 될 것입니다.
결론적으로, ‘데이터 엔지니어링 캡스톤 프로젝트’는 참여자들이 실제 기술을 적용하며, 기술 실력을 확실히 향상시킬 수 있는 좋은 기회를 제공합니다. 데이터 엔지니어링 분야에 도전하고 싶다면 이 과정을 꼭 수강해 보시길 추천드립니다.
Enroll Course: https://www.coursera.org/learn/data-enginering-capstone-project