RodzajSala Training
Zarejestruj się

Kontakt z nami

Pola oznaczone * są wymagane

 

kurs certyfikacji hadoop dużych danych

Kurs i szkolenie certyfikacyjne Big Data Hadoop

Przegląd

Audiencja i wymagania wstępne

Konspekt szkolenia

Harmonogram i opłaty

Orzecznictwo

Opis kursu certyfikacji Big Data Hadoop

Jest to kompleksowe szkolenie Hadoop Big Data opracowane przez ekspertów branżowych, uwzględniające aktualne wymagania pracy w branży, aby zapewnić dogłębne uczenie się na dużych danych i modułach Hadoop. Jest to uznany w branży kurs szkoleniowy z certyfikatem Big Data, który jest połączeniem szkoleń dla programistów Hadoop, administratora Hadoop, testów Hadoop i analiz. To Cloudera Szkolenie Hadoop przygotuje Cię do wyczyszczenia certyfikacji dużych zbiorów danych.

Cele

  • Opanuj podstawy Hadoop 2.7 i YARN i napisz aplikacje z nich korzystające
  • Konfigurowanie Pseudo-węzła i klastra Multi-node na Amazon EC2
  • Master HDFS, MapReduce, Hive, Pig, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Dowiedz się Spark, Spark RDD, Graphx, MLlib pisanie aplikacji Spark
  • Działania administracyjne Master Hadoop, takie jak zarządzanie klastrami, monitorowanie, administracja i rozwiązywanie problemów
  • Konfigurowanie narzędzi ETL, takich jak Pentaho / Talend, do pracy z MapReduce, Hive, Pig, itp
  • Szczegółowe zrozumienie analityki Big Data
  • Aplikacje testujące Hadoop wykorzystujące jednostkę MR i inne narzędzia automatyzacji.
  • Praca z formatami danych Avro
  • Ćwicz rzeczywiste projekty wykorzystujące Hadoop i Apache Spark
  • Przygotuj się do usunięcia certyfikatu Big Data Hadoop.

Grupa docelowa

  • Programowanie Programistów i administratorów systemu
  • Doświadczeni profesjonaliści, menedżerowie projektów
  • Twórcy Big DataHadoop chętnie poznają inne dziedziny, takie jak testowanie, analityka, administracja
  • Mainframe Profesjonaliści, Architekci i Testerzy
  • Business Intelligence, hurtownie danych i specjaliści Analytics
  • Absolwenci, studenci spragnieni nauki najnowszej technologii Big Data mogą wziąć udział w szkoleniu online Big Data Hadoop Certification

Wymagania wstępne

  • Nie ma wstępnego warunku, aby wziąć udział w szkoleniu Big Data i opanować Hadoop. Ale podstawy systemu UNIX, SQL i java byłyby dobre. Na platformie Intellipaat zapewniamy bezpłatny kurs unix i Java z naszym szkoleniem certyfikacyjnym Big Data, aby podnieść wymagane umiejętności, abyś był na dobrej drodze do nauki Hadoop.

Czas trwania kursu: 2 dni

Wprowadzenie do Big Data & Hadoop i jego ekosystemu, Map Reduce i HDFS

Co to jest Big Data, gdzie znajduje się Hadoop, Hadoop Distributed File System - replikacje, rozmiar bloku, dodatkowy Namenode, wysoka dostępność, zrozumienie YARN - ResourceManager, NodeManager, różnica między 1.x a 2.x

Instalacja i konfiguracja Hadoop

Hadoop 2.x Architektura klastrów, federacja i wysoka dostępność, typowa konfiguracja klastra produkcyjnego, tryby klastrów Hadoop, wspólne komendy powłoki Hadoop, pliki konfiguracyjne Hadoop 2.x, klaster pojedynczego węzła Cloudera

Deep Dive w Mapreduce

Jak działa Mapreduce, jak działa Reduktor, jak działa sterownik, sumatory, partycje, formaty wejściowe, formaty wyjściowe, tasowanie i sortowanie, połączenia mapowe, redukcja połączeń bocznych, MRUnit, rozproszona pamięć podręczna

Ćwiczenia laboratoryjne:

Praca z HDFS, pisanie programu WordCount, pisanie niestandardowego partycjonera, Mapowanie z Combinerem, dołączanie do mapy, redukowanie side joinów, testowanie jednostek, Mapreduce, uruchamianie Mapreduce w trybie LocalJobRunner

Wykres Rozwiązywanie problemów

Co to jest wykres, reprezentacja wykresu, szerokość najpierw algorytm wyszukiwania, wykres reprezentacja mapy zmniejszania, jak zrobić algorytm wykresu, przykład wykresu mapę zmniejszyć,

    Ćwiczenie 1: Ćwiczenie 2: Ćwiczenie 3:

Szczegółowe zrozumienie świni

A. Wprowadzenie do świni

Zrozumienie Apache Pig, funkcje, różne zastosowania i nauka interakcji z Pig

B. Wdrażanie Pig'a do analizy danych

Składnia Pig Latin, różne definicje, sortowanie i filtr danych, typy danych, wdrażanie Pig dla ETL, ładowanie danych, przeglądanie schematów, definicje pól, powszechnie używane funkcje.

C. Świnia do złożonego przetwarzania danych

Różne typy danych, w tym zagnieżdżone i złożone, przetwarzanie danych za pomocą świni, grupowana iteracja danych, ćwiczenia praktyczne

D. Przeprowadzanie operacji z wieloma zestawami danych

Łączenie zestawów danych, dzielenie zestawu danych, różne metody łączenia zestawów danych, operacje zestawów, ćwiczenia praktyczne

E. Rozszerzanie świni

Zrozumienie funkcji zdefiniowanych przez użytkownika, wykonywanie przetwarzania danych w innych językach, importowanie i makra, korzystanie z przesyłania strumieniowego i UDF w celu rozszerzenia świni, ćwiczenia praktyczne

F. Pig Jobs

Praca z prawdziwymi zbiorami danych z udziałem Walmart i Electronic Arts jako studium przypadku

Szczegółowe zrozumienie Hive

A. Hive Wprowadzenie

Zrozumienie Hive, porównanie tradycyjnych baz danych z porównaniem Hive, Pig i Hive, przechowywanie danych w schemacie Hive i Hive, interakcje Hive i różne przypadki użycia Hive

B. Hive do analizy danych relacyjnych

Zrozumienie HiveQL, podstawowej składni, różnych tabel i baz danych, typów danych, łączenia zestawów danych, różnych wbudowanych funkcji, wdrażania kwerend Hive w skryptach, powłoce i odcieniu.

C. Zarządzanie danymi w ulu

Różne bazy danych, tworzenie baz danych, formaty danych w Hive, modelowanie danych, tabele zarządzane przez Hive, samodzielnie zarządzane tabele, ładowanie danych, zmienianie baz danych i tabel, upraszczanie zapytań z widokami, przechowywanie wyników zapytań, kontrola dostępu do danych, zarządzanie danymi z serwerem Hive, Hive Metastore i Thrift.

D. Optymalizacja ula

Uczenie wydajności kwerend, indeksowania danych, partycjonowania i tworzenia portfeli

E. Rozszerzanie Hive

Wdrażanie funkcji zdefiniowanych przez użytkownika w celu rozszerzenia gałęzi

F. Hands on Exercises - praca z dużymi zbiorami danych i obszerne zapytania

Wdrażanie ula w przypadku ogromnych ilości zestawów danych i dużych ilości zapytań

G. UDF, optymalizacja zapytań

Pracujemy intensywnie z zapytaniami zdefiniowanymi przez użytkownika, ucząc się optymalizacji zapytań, różnych metod do optymalizacji wydajności.

Impala

A. Wprowadzenie do Impala

Co to jest Impala ?, Jak Impala różni się od Ula i Świni, Jak Impala różni się od relacyjnych baz danych, ograniczeń i przyszłych kierunków, Używanie Impala Shell

B. Wybór najlepszego (Hive, Pig, Impala)

C. Modelowanie i zarządzanie danymi z Impala i Hive

Przegląd pamięci masowych, tworzenie baz danych i tabel, ładowanie danych do tabel, katalogowanie, buforowanie metadanych Impala

D. Partycjonowanie danych

Przegląd partycji, partycjonowanie w Impala i Hive

(AVRO) Formaty danych

Wybór formatu pliku, obsługa narzędzi dla formatów plików, schematy Avro, używanie Avro z ulem i Sqoop, Avro Schema Evolution, kompresja

Wprowadzenie do architektury Hbase

Czym jest Hbase, gdzie pasuje, czym jest NOSQL

Apache Spark

A. Dlaczego Spark? Praca z rozproszonym systemem plików Spark i Hadoop

Co to jest Spark, Porównanie Spark i Hadoop, Components of Spark

B. Spark Components, Common Spark Algorithms - Iteracyjne algorytmy, analiza wykresu, uczenie maszynowe

Apache Spark - wprowadzenie, spójność, dostępność, partycja, ujednolicona iskierka stosu, komponenty iskier, przykład podpalania, mahout, burza, wykres

C. Uruchamianie Sparka w klastrze, pisanie aplikacji Spark przy użyciu Pythona, Java, Scala

Wyjaśnij przykład Pythona, Pokaż instalację iskry, Wyjaśnij program sterownika, Wyjaśnij kontekst iskry za pomocą przykładu, Zdefiniuj słabo wpisaną zmienną, Połącz scala i java bezproblemowo, Wyjaśnij współbieżność i dystrybucję., Wyjaśnij czym jest cecha, Wyjaśnij wyższą kolejność z przykładem, Zdefiniuj OFI scheduler, Zalety Spark, Przykład Lamdy za pomocą iskry, Wyjaśnienie Mapreduce z przykładem

Konfiguracja klastra Hadoop i uruchamianie mapy Zmniejsz liczbę prac

Konfiguracja klastra Multi Node przy użyciu Amazon ec2 - Tworzenie konfiguracji klastra węzłów 4, Uruchamianie mapy Redukcja zleceń w klastrze

Główny projekt - łączenie wszystkich razem i łączenie punktów

Łączenie wszystkich razem i łączenie punktów, praca z dużymi zbiorami danych, kroki związane z analizowaniem dużych danych

Połączenia ETL z ekosystemem Hadoop

Jak działają narzędzia ETL w branży Big Data, podłączanie do HDFS z narzędzia ETL i przenoszenie danych z systemu lokalnego do HDFS, przenoszenie danych z DBMS do HDFS, praca z gałęzią za pomocą narzędzia ETL, tworzenie mapy Redukuj zadanie w narzędziu ETL, End to End ETL PoC pokazujące dużą integrację danych z narzędziem ETL.

Konfiguracja klastra

Przegląd konfiguracji i ważny plik konfiguracyjny, parametry konfiguracyjne i wartości, parametry HDFS parametry MapReduce, konfiguracja środowiska Hadoop, pliki konfiguracyjne "Uwzględnij" i "Wyklucz", Lab: MapReduce Performance Tuning

Administracja i konserwacja

Struktury i pliki katalogów Namenode / Datanode, obraz systemu plików i dziennik edycji, procedura Checkpoint, niepowodzenie i procedura odzyskiwania Namenode, tryb awaryjny, tworzenie kopii zapasowych metadanych i danych, potencjalne problemy i rozwiązania / na co zwrócić uwagę, dodawanie i usuwanie węzłów, laboratorium: Odzyskiwanie systemu plików MapReduce

Monitorowanie i rozwiązywanie problemów

Najlepsze praktyki monitorowania klastra, Używanie dzienników i śledzenia stosów do monitorowania i rozwiązywania problemów, Używanie narzędzi typu open-source do monitorowania klastra

Harmonogram zadań: Mapa zmniejsza przepływ pracy

Jak zaplanować zadania w tym samym klastrze, harmonogramie FIFO, programie Fair Harmonogram i jego konfiguracji

Konfiguracja klastra Multi-Node i uruchamianie mapy Zmniejsz liczbę zadań w Amazon Ec2

Konfiguracja klastra Multi Node przy użyciu Amazon ec2 - Tworzenie konfiguracji klastra węzłów 4, Uruchamianie mapy Redukcja zleceń w klastrze

ZOOKEEPER

ZOOKEEPER Wprowadzenie, przypadki użycia ZOOKEEPER, usługi ZOOKEEPER, model danych ZOOKEEPER, Znodes i jego typy, operacje Znodes, zegarki Znodes, Znodes czyta i zapisuje, Gwarancje spójności, Zarządzanie klastrem, Wybór liderów, Rozproszona blokada Exclusive, Ważne punkty

Advance Oozie

Dlaczego Oozie ?, Instalowanie Oozie, Uruchamianie przykładu, Oozie - mechanizm przepływu pracy, Przykładowa akcja M / R, Przykład liczenia słów, Aplikacja przepływu pracy, Przesyłanie przepływu pracy, Przejścia stanów przepływu pracy, Przetwarzanie zadań Oozie, Zabezpieczenia Oozie, Dlaczego bezpieczeństwo Oozie ?, Przesyłanie pracy , Multi-najem i skalowalność, Linia czasu pracy Oozie, Koordynator, Pakiet, Warstwy abstrakcji, Architektura, Przypadek użycia 1: wyzwalacze czasu, Użyj przypadku 2: wyzwalacze danych i czasu, Użyj przypadku 3: okno ruchome

Advance Flume

Omówienie Apache Flume, Fizycznie rozproszone źródła danych, Zmiana struktury danych, Wygląd bliżej, Anatomia flume, Koncepcje podstawowe, Wydarzenie, Klienci, Agenci, Źródło, kanały, Zlewy, Interceptory, Selektor kanałów, Procesor zlewu, Przetwarzanie danych, Potok agenta , Transakcyjna wymiana danych, Routing i replikacja, Dlaczego kanały ?, Przypadek użycia- Agregacja dzienników, Dodawanie agenta flume, Obsługa farmy serwerów, Ilość danych na agenta, Przykład opisujący wdrożenie węzła pojedynczego węzła

Advance HUE

Wprowadzenie do HUE, Ekosystem HUE, Co to jest HUE ?, Widok rzeczywisty HUE, Zalety HUE, Jak przesłać dane w Przeglądarce plików ?, Przejrzeć zawartość, Integracja użytkowników, Integracja HDFS, Podstawy HUE FRONTEND

Advance Impala

Przegląd IMPALA: Cele, Widok użytkownika Impala: Przegląd, Widok użytkownika Impala: SQL, Widok użytkownika Impala: Apache HBase, Architektura Impala, Magazyn stanu Impala, Usługa katalogu Impala, Faza wykonania zapytania, Porównanie Impala do Hive

Testowanie aplikacji Hadoop

Dlaczego testowanie jest ważne, testowanie jednostkowe, testowanie integracyjne, testowanie wydajnościowe, diagnostyka, test nocnego zapewnienia jakości, test porównawczy i testy end-to-end, testy funkcjonalne, testowanie certyfikacji wersji, testowanie bezpieczeństwa, testowanie skalowalności, uruchamianie i wyłączanie testowania węzłów danych, testowanie niezawodności , Przetestuj wersję

Role i obowiązki Hadoop Testing Professional

Zrozumienie wymagań, przygotowanie oceny testowej, przypadków testowych, danych testowych, utworzenie łóżka testowego, wykonanie testu, raportowanie defektu, ponowna próba defektu, dostarczenie dziennego raportu stanu, zakończenie testu, testowanie ETL na każdym etapie (HDFS, HIVE, HBASE), ładowanie danych wejściowych (logi / pliki / rekordy itp.) za pomocą programu sqoop / flume, który obejmuje między innymi weryfikację danych, uzgadnianie, autoryzację użytkownika i testowanie uwierzytelniania (grupy, użytkownicy, uprawnienia itp.), zgłaszanie defektów zespołowi rozwojowemu lub kierownikowi i kierowcom je zamknąć, skonsolidować wszystkie usterki i tworzyć raporty o defektach, sprawdzanie poprawności nowych funkcji i problemów w Core Hadoop.

Ramy zwane jednostką MR do testowania map zmniejszających programy

Zgłaszaj usterki zespołowi rozwojowemu lub kierownikowi i prowadź je do zamknięcia, Konsoliduj wszystkie usterki i twórz raporty o defektach, Odpowiedzialne za tworzenie ram testowych zwanych Jednostką MR do testowania programów Zmniejsz mapę.

Testów jednostkowych

Testy automatyzacji z wykorzystaniem OOZIE, Sprawdzanie danych za pomocą narzędzia do generowania zapytań.

Wykonanie testu

Plan testów dla aktualizacji HDFS, automatyzacji testów i wyników

Strategia planu testów i pisanie przypadków testowych do testowania aplikacji Hadoop

Jak przetestować instalację i konfigurację

Wsparcie pracy i certyfikacji

Wskazówki dotyczące certyfikacji Cloudera i poradnika oraz przygotowania do rozmowy kwalifikacyjnej, praktyczne wskazówki i techniki rozwoju

Napisz do nas na info@itstechschool.com i skontaktuj się z nami w + 91-9870480053, aby uzyskać informacje o cenie i certyfikacie kursu, harmonogramie i lokalizacji

Rzuć nam zapytanie

Ten kurs szkoleniowy ma pomóc Ci wyjaśnić oba Cloudera Spark i Hadoop Developer Certification (CCA175) egzamin i Cloudera Certified Administrator dla Apache Hadoop (CCAH) egzamin. Cała treść kursu szkoleniowego jest zgodna z tymi dwoma programami certyfikacji i pomaga z łatwością usunąć te egzaminy certyfikacyjne i uzyskać najlepsze zadania w najlepszych korporacjach wielonarodowych.

W ramach tego szkolenia będziesz pracował nad projektami i zleceniami w czasie rzeczywistym, które mają ogromne implikacje w scenariuszu branży realnego przemysłu, pomagając tym samym w szybkim śledzeniu Twojej kariery.

Pod koniec tego programu szkoleniowego będą quizy, które doskonale odzwierciedlają typ pytań zadawanych w odpowiednich egzaminach certyfikacyjnych i pomogą zdobyć lepsze oceny z egzaminu certyfikacyjnego.

Certyfikat ukończenia kursu ITS zostanie przyznany po zakończeniu pracy nad Projektem (po przeglądzie eksperta) i po przyznaniu co najmniej 60% ocen w quizie. Certyfikacja Intellipaat jest dobrze rozpoznawana w topowych 80 + MNC takich jak Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware, itp.

Aby uzyskać więcej informacji uprzejmie Skontaktuj się z nami.


reviews