유형강의실 교육
바이낸스(BINANCE) 가입하기

문의하기

다음으로 표시된 필드 * 필요

 

빅 데이터 허프 인증 과정

빅 데이터 하둡 인증 과정 및 교육

개요

잠재 고객 및 선행 조건

강의 개요

일정 및 비용

인증

빅 데이터 하둡 인증 과정 개요

빅 데이터 및 하둡 모듈에 대한 심층적 인 학습을 제공하기 위해 업계의 현재 업무 요구 사항을 고려하여 업계 전문가들이 설계 한 포괄적 인 하둡 빅 데이터 교육 과정입니다. 이것은 업계에서 인정한 Big Data 인증 교육 과정으로, Hadoop 개발자, Hadoop 관리자, Hadoop 테스트 및 분석의 교육 과정을 결합한 것입니다. 이 클라우 데라 하둡 교육은 귀중한 데이터 인증을 준비하도록 도와 줄 것입니다.

목표

  • Hadoop 2.7 및 YARN의 마스터 펀더멘탈 및이를 사용하는 애플리케이션 작성
  • Amazon EC2에서 의사 노드 및 다중 노드 클러스터 설정
  • 마스터 HDFS, MapReduce, Hive, 돼지, Oozie, Sqoop, Flume, 사육사, HBase
  • Learn Spark, Spark RDD, Graphx, MLlib Spark 응용 프로그램 작성
  • 클러스터 관리, 모니터링, 관리 및 문제 해결과 같은 마스터 Hadoop 관리 활동
  • MapReduce, Hive, Pig 등에서 작동하는 Pentaho / Talend와 같은 ETL 도구 구성
  • Big Data 분석에 대한 자세한 이해
  • Hadoop은 MR 유닛 및 기타 자동화 툴을 사용하여 애플리케이션을 테스트합니다.
  • Avro 데이터 형식 작업
  • Hadoop과 Apache Spark를 사용하여 실제 프로젝트 실습
  • Big Data Hadoop 인증을 지울 준비가되어 있어야합니다.

대상 독자

  • 프로그래밍 개발자 및 시스템 관리자
  • 숙련 된 전문가, 프로젝트 관리자
  • Big DataHadoop 개발자는 테스팅, 분석, 관리와 같은 다른 분야를 배우고 자합니다.
  • 메인 프레임 전문가, 건축가 및 테스트 전문가
  • 비즈니스 인텔리전스, 데이터웨어 하우징 및 분석 전문가
  • 졸업생, 최신 빅 데이터 기술을 배우고 싶어하는 학부생이 Big Data Hadoop 인증 온라인 교육을 수강 할 수 있습니다.

전제 조건

  • 이 Big 데이터 교육을 받고 Hadoop을 습득하기위한 사전 요구 사항은 없습니다. 그러나 UNIX, SQL 및 Java의 기본 기능은 유용 할 것입니다. Intellipaat에서는 Big Data 인증 교육을 통해 무료 유닉스 및 Java 과정을 제공하므로 필요한 기술을 연마하여 Hadoop 학습 경로를 잘 수행 할 수 있습니다.

코스 개요 기간 : 2 일

Big Data & Hadoop 소개 및 에코 시스템, Map Reduce 및 HDFS

빅 데이터 란 Hadoop이 어디에 들어 있는지, Hadoop 분산 파일 시스템 - 복제, 블록 크기, 보조 네임 노드, 고 가용성, YARN 이해 - ResourceManager, NodeManager, 1.x와 2.x의 차이점

Hadoop 설치 및 설정

Hadoop 2.x 클러스터 아키텍처, 페더레이션 및 고 가용성, 일반적인 프로덕션 클러스터 설정, Hadoop 클러스터 모드, 일반 Hadoop 셸 명령, Hadoop 2.x 구성 파일, Cloudera 단일 노드 클러스터

Mapreduce의 심층 다이브

Mapreduce 작동 방식, 감속기 작동 방식, 드라이버 작동 방식, 결합 자, 분할기, 입력 형식, 출력 형식, 셔플 및 정렬, 맵 사이드 조인, 측면 조인 축소, MRUnit, 분산 캐시

실험실 연습 :

HDFS 작업, WordCount 프로그램 작성, 사용자 정의 분할기 작성, 결합자를 사용한 Mapreduce, 맵 사이드 조인, 사이드 조인 축소, Unit Testing Mapreduce, LocalJobRunner 모드에서 Mapreduce 실행

그래프 문제 해결

그래프, 그래프 표현, 넓이 우선 검색 알고리즘,지도 축소의 그래프 표현, 그래프 알고리즘 수행 방법, 그래프 맵 축소의 예,

    운동 1 : 운동 2 : 운동 3 :

돼지에 대한 자세한 이해

A. 돼지 소개

아파치 돼지에 대한 이해, 기능, 다양한 용도 및 돼지와 상호 작용하는 법 배우기

B. 데이터 분석을위한 돼지 배포

돼지 라틴어 구문, 다양한 정의, 데이터 정렬 및 필터, 데이터 유형, ETL, 데이터로드, 스키마보기, 필드 정의, 일반적으로 사용되는 기능에 대한 돼지 배포

복잡한 데이터 처리를위한 C. 돼지

중첩 및 복합, 돼지 데이터 처리, 그룹화 된 데이터 반복, 실습 등 다양한 데이터 유형

D. 다중 데이터 세트 작업 수행

데이터 세트 결합, 데이터 세트 분할, 데이터 세트 결합을위한 다양한 방법, 설정 작업, 직접 연습

E. 돼지 확장

사용자 정의 함수 이해, 다른 언어, 가져 오기 및 매크로로 데이터 처리 수행, 스트리밍 및 UDF를 사용하여 돼지 확장, 실제 연습

F. 돼지 고용

사례 연구로 Walmart와 Electronic Arts가 관련된 실제 데이터 세트로 작업

하이브에 대한 자세한 이해

A. 하이브 소개

하이브 이해, 하이브리드, 돼지 및 하이브 비교와의 전통적인 데이터베이스 비교, 하이브 및 하이브 스키마에 데이터 저장, 하이브 상호 작용 및 하이브의 다양한 사용 사례

B. 관계형 데이터 분석을위한 하이브

HiveQL, 기본 구문, 다양한 테이블과 데이터베이스, 데이터 유형, 데이터 세트 결합, 다양한 내장 함수 이해, 스크립트, 쉘 및 색조에 하이브 쿼리 배치.

C. 하이브로 데이터 관리

다양한 데이터베이스, 하이브에있는 데이터 형식, 데이터 모델링, 하이브 관리 테이블, 자체 관리 테이블, 데이터 로딩, 데이터베이스 및 테이블 변경, 뷰로 쿼리 단순화, 쿼리 결과 저장, 데이터 액세스 제어, 데이터 관리 Hive, Hive Metastore 및 Thrift 서버가 있습니다.

D. 하이브 최적화

쿼리, 데이터 인덱싱, 파티셔닝 및 버킷 학습 성능

E. 하이브 확장하기

하이브 확장을위한 사용자 정의 함수 배포

F. 연습 문제 - 대규모 데이터 세트 및 광범위한 쿼리 작업

대용량의 데이터 세트와 대량의 쿼리를 위해 Hive 배포

G. UDF, 질의 최적화

사용자 정의 쿼리 (User Defined Queries)를 광범위하게 사용하고, 쿼리를 최적화하는 방법을 학습하고, 성능 튜닝을 수행하는 다양한 방법.

임팔라

A. 임팔라 소개

임팔라 란 무엇입니까?, 하이브와 돼지에서 임팔라가 어떻게 달라지는 지, 임팔라가 관계형 데이터베이스와 다른 점, 한계 및 향후 방향, 임팔라 셸 사용법

B. 최선의 선택 (하이브, 돼지, 임팔라)

C. 임팔라와 하이브로 데이터 모델링 및 관리

데이터 저장소 개요, 데이터베이스 및 테이블 만들기, 테이블에 데이터로드, HCatalog, 임팔라 메타 데이터 캐싱

D. 데이터 파티셔닝

파티셔닝 개요, 임팔라 및 하이브에서 파티션하기

(AVRO) 데이터 형식

파일 형식 선택, 파일 형식 지원 도구, Avro 스키마, Avro와 하이브 및 Sqoop 사용, Avro 스키마 진화, 압축

Hbase 아키텍처 소개

Hbase 란 무엇입니까? NOSQL은 무엇입니까?

아파치 스파크

A. 왜 스파크? Spark 및 Hadoop 분산 파일 시스템 작업

스파크 란 무엇인가, 스파크와 하둡의 비교, 스파크의 구성 요소

B. 스파크 구성 요소, 일반적인 스파크 알고리즘 - 반복 알고리즘, 그래프 분석, 기계 학습

Apache Spark - 소개, 일관성, 가용성, 파티션, 통합 스택 스파크, 스파크 구성 요소, 스케일링 예제, mahout, 폭풍우, 그래프

C. 클러스터에서 Spark 실행, Python, Java, Scala를 사용하여 Spark 응용 프로그램 작성

Explicit python 예제, 스파크 설치보기, 드라이버 프로그램 설명, 예를 들어 스파크 컨텍스트 설명, 약한 타입 변수 정의, 스칼라와 자바의 완벽한 결합, 동시성 및 분포 설명, 특성 설명, 예를 들어 고차 함수 설명, OFI 정의 스케줄러, 스파크의 장점, 스파크를 사용하는 램다의 예, 예제와 함께 Mapreduce 설명

Hadoop 클러스터 설정 및 실행 맵 축소 작업

Amazon ec2을 사용한 다중 노드 클러스터 설정 - 4 노드 클러스터 설정, 클러스터에서 작업 축소 맵 실행

주요 프로젝트 - 모든 것을 모으고 점들을 연결하는 것

모든 것을 하나로 모으고 점 연결하기, 큰 데이터 세트로 작업하기, 큰 데이터를 분석하는 단계

Hadoop 에코 시스템과의 ETL 연결성

ETL 툴에서 ETL 도구가 작동하는 방식 ETL 도구에서 HDFS에 연결하고 로컬 시스템에서 HDFS로 데이터 이동, DBMS에서 HDFS로 데이터 이동, ETL 도구로 하이브 작업, 맵 생성 ETL 도구에서 작업 축소, 종단 간 ETL PoC는 ETL 도구와 큰 데이터 통합을 보여줍니다.

클러스터 구성

구성 개요 및 중요한 구성 파일, 구성 매개 변수 및 값, HDFS 매개 변수 MapReduce 매개 변수, Hadoop 환경 설정, 'Include'및 'Exclude'구성 파일, Lab : MapReduce 성능 조정

관리 및 유지 보수

네임 노드 / 데이터 노드 디렉토리 구조 및 파일, 파일 시스템 이미지 및 로그 편집, 검사 점 프로 시저, 네임 노드 실패 및 복구 절차, 안전 모드, 메타 데이터 및 데이터 백업, 잠재적 인 문제 및 해결 방법 / 찾아야 할 사항, 노드 추가 및 제거, MapReduce 파일 시스템 복구

모니터링 및 문제 해결

클러스터 모니터링 모범 사례, 모니터링 및 문제 해결을 위해 로그 및 스택 추적 사용, 오픈 소스 도구를 사용하여 클러스터 모니터링

Job Scheduler : Map 제출 작업 흐름 축소

동일한 클러스터, FIFO 스케줄, 공정 스케줄러 및 그 구성에서 작업을 스케줄하는 방법

다중 노드 클러스터 설정 및 실행지도 Amazon Ec2에서 작업 줄이기

Amazon ec2을 사용한 다중 노드 클러스터 설정 - 4 노드 클러스터 설정, 클러스터에서 작업 축소 맵 실행

주걱

ZOOKEEPER 소개, ZOOKEEPER 사용 사례, ZOOKEEPER 서비스, ZOOKEEPER 데이터 모델, Znodes 및 그 유형, Znodes 작업, Znodes 시계, Znodes 읽기 및 쓰기, 일관성 보장, 클러스터 관리, 지도자 선거, 배타적 독점 잠금, 중요 사항

오우 지에 어드밴스

Oozie 설치, Oozie 설치, 예제 실행, Oozie 워크 플로 엔진, M / R 작업 예, 단어 수 계산 예제, 워크 플로 응용 프로그램, 워크 플로 제출, 워크 플로 상태 전환, Oozie 작업 처리, Oozie 보안, Oozie 보안 이유, , 멀티 임차 및 확장 성, Oozie 작업의 타임 라인, 코디네이터, 번들, 추상화 계층, 아키텍처, 사용 사례 1 : 시간 트리거, 사용 사례 2 : 데이터 및 시간 트리거, 사용 사례 3 : 롤링 윈도우

예고 용수철

Apache Flume, 물리적으로 분산 된 데이터 소스, 데이터 구조 변경, 클로저 모양, Flume 해부학, 핵심 개념, 이벤트, 클라이언트, 에이전트, 소스, 채널, 싱크, 인터셉터, 채널 선택기, 싱크 프로세서, 데이터 수집, 에이전트 파이프 라인 , 트랜잭션 데이터 교환, 라우팅 및 복제, 채널 이유, 사용 사례 - 로그 집계, flume 에이전트 추가, 서버 팜 처리, 에이전트 당 데이터 볼륨, 단일 노드 flume 배포에 대한 설명

고급 HUE

HUE 소개, HUE 생태계, HUE 란 무엇인가, HUE 실제보기, HUE의 장점, 파일 브라우저에서 데이터 업로드 방법, 콘텐츠보기, 사용자 통합, HDFS 통합, HUE FRONTEND의 기초

임팔라 사전

IMPALA 개요 : 목표, 임팔라 사용자 뷰 : 개요, 임팔라 사용자 뷰 : SQL, 임파 라 사용자 뷰 : Apache HBase, 임팔라 아키텍처, 임팔라 상태 저장소, 임팔라 카탈로그 서비스, 쿼리 실행 단계, 임팔라와 하이브 비교하기

Hadoop 애플리케이션 테스팅

테스트가 중요한 이유 유닛 테스트, 통합 테스트, 성능 테스트, 진단, 야간 품질 보증 테스트, 벤치 마크 및 엔드 투 엔드 테스트, 기능 테스트, 릴리스 인증 테스트, 보안 테스트, 확장 성 테스트, 데이터 노드 시동 및 폐기 테스트, 안정성 테스트 , 릴리스 테스트

Hadoop Testing Professional의 역할 및 책임

테스트 요구 사항, 테스트 사례 준비, 테스트 데이터 작성, 테스트 베드 생성, 테스트 실행, 결함보고, 결함 재시험, 일별 상태 보고서 전달, 테스트 완료, 모든 단계에서의 ETL 테스트 (HDFS, HIVE, HBASE) while 데이터 인증, 조정, 사용자 인증 및 인증 테스트 (그룹, 사용자, 권한 등)를 포함하되 이에 국한되지 않는 sqoop / flume을 사용하여 입력 (로그 / 파일 / 레코드 등)로드, 개발 팀 또는 관리자에게 결함보고 및 운전 폐쇄, 모든 결함 통합 및 결함 보고서 작성, Core Hadoop의 새로운 기능 및 문제 확인.

맵 축소 프로그램 테스트를위한 MR 유닛이라는 프레임 워크

개발 팀 또는 관리자에게 결함을보고하고 종료하도록 유도, 모든 결함 통합 및 결함 보고서 작성 Map-Reduce 프로그램 테스트를위한 MR 단위라는 테스트 프레임 워크 작성에 대한 책임.

단위 테스트

OOZIE를 사용한 자동화 테스트, 쿼리 서지 도구를 사용한 데이터 검증.

테스트 실행

HDFS 업그레이드, 테스트 자동화 및 결과 테스트 계획

테스트 계획 Hadoop 응용 프로그램 테스트를위한 전략 및 작성 테스트 사례

설치 및 구성 테스트 방법

직업 및 인증 지원

Cloudera 인증 팁 및 안내 및 모의 면접 준비, 실용적인 개발 팁 및 기법

우리에게 편지를 보내주십시오. info@itstechschool.com & 91-9870480053 (+ XNUMX-XNUMX)에서 코스 가격 및 인증 비용, 일정 및 위치를 문의하십시오.

우리에게 쿼리 삭제

이 교육 과정은 두 가지 모두를 해결할 수 있도록 설계되었습니다. Cloudera Spark 및 Hadoop 개발자 인증 (CCA175) 시험과 Cloudera Apache Hadoop (CCAH) 인증 관리자 시험. 전체 교육 과정 내용은이 두 가지 인증 프로그램과 일치하며이 인증 시험을 쉽게 해결하고 최고의 다국적 기업에서 최고의 일자리를 얻을 수 있도록 도와줍니다.

이 교육의 일환으로 실제 업계 시나리오에 엄청난 영향을 미치는 실시간 프로젝트 및 과제를 작성하여 경력을 빨리 추적 할 수 있도록 도와줍니다.

이 교육 과정이 끝나면 각 인증 시험에서 묻는 질문 유형을 완벽하게 반영하는 퀴즈가 생기며 인증 시험에서 더 나은 점수를 얻을 수 있습니다.

ITS 과정 수료증 퀴즈에서 60 % 이상의 점수를 획득했을 때 (전문가 리뷰를 통해) 프로젝트 작업 완료시 수여됩니다. Intellipaat 인증은 Ericsson, Cisco, Cognizant, Sony, Mu-Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware 등과 같은 최고 80 + 다국적 기업에서 널리 인정 받고 있습니다.

더 많은 정보를 친절하게 연락처.


리뷰