Enroll Course: https://www.coursera.org/learn/serverless-data-processing-with-dataflow-operations
안녕하세요! 오늘은 Coursera에서 제공하는 ‘서버리스 데이터 처리와 데이터플로우: 운영’ 과정을 소개하고 리뷰해 보려 합니다. 이 과정은 데이터 처리와 관련된 다양한 기술과 사례를 자세히 다루고 있으며, 특히 데이터플로우 파이프라인의 모니터링, 성능 최적화, 그리고 테스트와 배포에 대한 내용을 중심으로 구성되어 있습니다.
우선, 이 과정에서는 데이터플로우의 운영 모델을 소개하며, 파이프라인 성능을 조정하고 문제를 해결하는 도구와 기법에 대해 배워볼 수 있습니다. 특히 중요한 것은 대규모 환경에서 수백 명의 사용자가 있는 조직에서도 쉽게 데이터플로우 파이프라인을 확장할 수 있도록 돕는 템플릿 기능에 대한 학습입니다.
### 과정의 주요 내용:
1. **모니터링**: Jobs List를 통해 모니터링할 작업들을 필터링하는 방법과 함께, Job Graph, Job Info, Job Metrics 탭을 통해 데이터플로우 작업에 대한 포괄적인 요약 정보를 제공받는 법을 배웁니다.
2. **로그 및 오류 보고**: 로그 패널과 중앙 집중식 오류 보고 페이지 사용법에 대해 배워, 문제를 신속하게 해결할 수 있는 방법을 익힙니다.
3. **문제 해결 및 디버그**: 파이프라인 빌드 실패, 시작 실패, 실행 중 오류, 성능 문제 등 다양한 실패 모드를 다루며, 이와 관련된 문제 해결 기법을 학습합니다.
4. **성능**: 배치 및 스트리밍 파이프라인을 개발할 때 알아야 할 성능 고려 사항을 논의합니다.
5. **테스팅 및 CI/CD**: 데이터플로우 파이프라인의 단위 테스팅과 CI/CD 워크플로우 구축을 위한 프레임워크 및 기능을 소개합니다.
6. **신뢰성**: 데이터 손상 및 데이터 센터 장애에 대한 저항력을 갖춘 시스템을 구축하는 방법을 배웁니다.
7. **Flex 템플릿**: 데이터 엔지니어링 팀이 데이터플로우 파이프라인 코드를 표준화하고 재사용할 수 있도록 돕는 Flex 템플릿 기능에 대해 배웁니다.
이 과정은 데이터 엔지니어링 및 데이터 프로세싱 분야에서의 전문성을 향상시키고자 하는 모든 분들께 적극 추천합니다. 실무와 밀접한 내용이 많아 실제 상황에서 유용하게 사용할 수 있을 것입니다.
수업을 통해 많은 인사이트를 얻으시기를 바라며, 데이터플로우의 세계를 더 깊이 탐험해 보시기 바랍니다!
Enroll Course: https://www.coursera.org/learn/serverless-data-processing-with-dataflow-operations