Big Data on AWS
과정소개
이 과정에서는 Amazon Elastic MapReduce (EMR), Amazon Redshift, Amazon Kinesis 및 기타 AWS 빅 데이터 플랫폼과 같은 클라우드 기반 빅 데이터 솔루션에 대해 학습합니다. Hive 및 Hue와 같은 광범위한 Apache Hadoop 도구 에코 시스템을 사용하여 Amazon EMR을 사용하여 데이터를 처리하는 방법을 배웁니다.또한 빅 데이터 환경을 생성하고, Amazon DynamoDB, Amazon redshift, Amazon Quicksight, Amazon Athena 및 Amazon Kinesis로 작업하는 방법을 배우고, 모범 사례를 통해 효율적인 비용으로 안전한 빅 데이터 환경을 설계하는 방법에 대해 배웁니다.
- 전문
- 강의식 교육, 실습
- 3일
| 교육시간 | 09:00 ~ 17:30 |
|---|---|
| 수강대상 | •솔루션 설계자 및 시스템 운영자 관리자와 같은 빅 데이터 솔루션 설계 및 구현을 담당하는 개인
•AWS의 빅 데이터 솔루션에 관심이있는 데이터 과학자 및 데이터 분석가 |
| 과정목표 | •빅데이터 에코시스템 안에 AWS 솔루션 설치
•Amazon EMR의 컨텍스트에서 Apache 하둡 사용 •Amazon EMR 클러스터의 구성 요소를 파악하고, 시작 및 구성 •Hive, Pig, 스트리밍을 비롯해 Amazon EMR에 사용 가능한 일반적인 프로그래밍 프레임워크 사용 •Hue를 사용해 Amazon EMR의 사용 편의성을 개선 •Amazon EMR에서 Spark를 통해 인 메모리 분석 •실시간 빅데이터 처리를 위해 Amazon Kinesis를 사용하는 이점 파악 •Amazon Redshift를 사용해 데이터를 효과적으로 저장 및 분석 •빅 데이터 솔루션의 비용과 보안을 이해하고 관리 •데이터의 수집, 전송 및 압축 옵션을 파악 •Amazon Athena를 활용한 임시 쿼리 분석 •Amazon QuickSight로 데이터와 쿼리를 표시하기 위해 시각화 소프트웨어 사용 |
| 사전조건 | •Apache Hadoop 및 HDFS를 포함한 빅 데이터 기술에 대한 지식
•Pig, Hive 및 MapReduce와 같은 빅 데이터 기술에 대한 지식은 도움이되지만 필수는 아닙니다. •핵심 AWS 서비스 및 퍼블릭 클라우드 구현에 대한 실무 지식 •데이터웨어 하우징, 관계형 데이터베이스 시스템 및 데이터베이스 설계에 대한 기본 이해 |
| 교육비용 | 120만원 (VAT없음 / 교재 + 서버 포함) |
학습일정
| 1일차 | •빅 데이터 개요
•빅 데이터 수집 및 전송 •빅 데이터 스트리밍 및 Amazon Kinesis •실습 1: Amazon Kinesis를사용한 Apache 서버 로그 데이터 스트림 및 분석 •빅 데이터 스토리지 솔루션 •빅 데이터 처리 및 분석 •실습 2: Amazon Athena를 사용한 로그 데이터 분석 |
|---|---|
| 2일차 | •Apache 하둡 및 Amazon EMR
•실습 3: Amazon DynamoDB에 데이터 저장 및 쿼리 •Amazon EMR 사용 •실습 4: Amazon EMR에서 Hive를 사용하여 서버 로그 처리 •Amazon EMR의 인터페이스 •실습 5: Amazon EMR에서 Hue를 사용하여 Pig 스크립트 실행 •Amazon EMR 기반 Apache Spark •실습 6: Amazon EMR에서 Spark를 사용하여 NY 택시 데이터 처리 |
| 3일차 | •AWS Glue를 사용하여 ETL 워크로드 자동화
•Amazon Redshift 및 빅 데이터 •Amazon 배포 보안 •빅 데이터 비용 관리 •빅 데이터 시각화 및 조정 •실습 7: TIBCO Spotfire를 사용하여 데이터 시각화 •빅 데이터 설계 패턴 |
