TipInstruirea în clasă
ÎNREGISTRARE
mare curs de certificare a cursurilor de curs

Big Data Hadoop Curs de Certificare și Instruire

Prezentare generală

Audiența și condițiile prealabile

Cursul de curs

Program și taxe

Certificare

Big Data Hadoop Certificare curs de ansamblu

Acesta este un curs cuprinzător de formare Hadoop Big Data conceput de specialiștii din industrie, având în vedere cerințele actuale în domeniul industriei de lucru pentru a oferi învățare în profunzime pe date mari și Module Hadoop. Acesta este un curs recunoscut pentru industria de formare a datelor Big Data, care este o combinație a cursurilor de formare în dezvoltatorul Hadoop, administratorul Hadoop, testarea Hadoop și analiza. Acest Cloudera Formarea Hadoop vă va pregăti pentru a șterge o mare certificare a datelor.

Obiective

  • Bazele fundamentale ale Hadoop 2.7 și YARN și scrierea aplicațiilor utilizând ele
  • Configurarea unui cluster Pseudo node și Multi node pe Amazon EC2
  • Master HDFS, HartaReduce, stup, Porc, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Aflați Spark, Spark RDD, Graphx, MLlib scriere aplicații Spark
  • Activitățile de administrare ale Masterului Hadoop cum ar fi gestionarea, monitorizarea, gestionarea și depanarea clusterului
  • Configurarea instrumentelor ETL ca Pentaho / Talend pentru a lucra cu MapReduce, Hive, Pig, etc
  • Înțelegerea detaliată a analizei Big Data
  • Aplicații de testare Hadoop utilizând unitatea MR și alte instrumente de automatizare.
  • Lucrați cu formatele de date Avro
  • Practicați proiecte din viața reală folosind Hadoop și Apache Spark
  • Fiți pregătiți pentru a șterge certificarea Big Data Hadoop.

Public-țintă

  • Programarea dezvoltatorilor și a administratorilor de sistem
  • Experienți profesioniști de lucru, Manageri de proiect
  • Dezvoltatori mari de date care doresc să învețe alte verticale, cum ar fi Testare, Analytics, Administrare
  • Profesioniști de cadre profesionale, Arhitecți și profesioniști de testare
  • Business Intelligence, Data warehousing și Profesioniști din Analytics
  • Absolvenții, studenții care doresc să învețe cea mai recentă tehnologie Big Data, pot lua această formare online de certificare Big Data Hadoop

Cerințe preliminare

  • Nu există nicio condiție prealabilă pentru a lua această pregătire de date și pentru ai învăța pe Hadoop. Dar elementele de bază ale sistemelor UNIX, SQL și java ar fi bune. La Intellipaat, oferim cursuri gratuite UNIX și Java cu trainingul de certificare a datelor Big Data pentru a-ți percepe abilitățile necesare pentru ca tu să fii bun pe calea ta de învățare Hadoop.

Durata conturului cursului: Zilele 2

Introducere în Big Data & Hadoop și ecosistemul său, hartă Reduce și HDFS

Ce este Big Data, Unde se potriveste Hadoop, Hadoop Distributed File System - Replicatii, Dimensiune bloc, Namenode secundar, Disponibilitate ridicata, Intelegerea YARN - ResourceManager, NodeManager, Diferenta intre 1.x si 2.x

Instalare și configurare Hadoop

Hadoop 2.x Arhitectura clusterului, Federația și Disponibilitatea înaltă, Setarea tipică de producție a clusterului, Modurile de cluster Hadoop, Comenzile comune Hadoop Shell, Fișierele de configurare Hadoop 2.x, Cloudera Clusterul nodului unic

Deplasare profundă în Mapreduce

Cum funcționează Mapreduce, Cum funcționează Reducerul, Cum funcționează șoferul, Combineri, Partiționări, Formate de intrare, Formate de ieșire, Shuffle și Sortare, Asociere cartografică, Reducerea conexiunilor laterale, MRUnit, Cache distribuit

Exerciții de laborator:

Lucrul cu HDFS, scrierea programului WordCount, scrierea partiționării personalizate, mapreduce cu combiner, asocierea laterală a hărții, reducerea conexiunilor laterale, testarea unităților de măsură Mapreduce, rularea mapreduce în modul LocalJobRunner

Rezolvarea problemelor grafice

Ce este reprezentarea grafică, grafică, algoritmul de căutare al primului paragraf, reprezentarea grafică a reducerii hărții, modul de realizare a algoritmului grafic, exemplu de reducere a graficului,

    Exercitarea 1: Exercițiu 2: Exercițiu 3:

Înțelegerea detaliată a porcului

A. Introducere în porc

Înțelegerea Apache Pig, caracteristicile, diverse utilizări și învățarea de a interacționa cu Pig

B. Implementarea porcului pentru analiza datelor

Sintaxa latino Pig, diferitele definiții, sortarea și filtrarea datelor, tipurile de date, implementarea Pig pentru ETL, încărcarea datelor, vizualizarea schemelor, definițiile câmpurilor, funcțiile utilizate în mod obișnuit.

C. Porc pentru procesarea complexă a datelor

Diverse tipuri de date, incluzând date de procesare imbricate și complexe, cu Pig, iterație de date grupate, exerciții practice

D. Efectuarea operațiunilor multi-dataset

Stabilirea setului de date, împărțirea seturilor de date, diverse metode de combinare a seturilor de date, operațiunile setate, exercițiul hands-on

E. Extinderea porcului

Înțelegerea funcțiilor definite de utilizator, efectuarea procesării datelor cu alte limbi, importuri și macro-uri, utilizând streaming și UDF-uri pentru extinderea porcului, exerciții practice

F. Pig Jobs

Lucrul cu seturi de date reale care implică Walmart și Electronic Arts ca studiu de caz

Înțelegerea detaliată a stupului

A. Introducere în stupi

Înțelegerea stupului, compararea tradițională a bazei de date cu compararea stupilor, a porcului și a stupilor, stocarea datelor în schemă de stup și Hive, interacțiunea stupilor și diverse cazuri de utilizare a stupului

B. Modul de analiză a datelor relaționale

Înțelegerea lui HiveQL, a sintaxei de bază, a diferitelor tabele și baze de date, a tipurilor de date, a îmbinărilor de date, a diferitelor funcții încorporate, implementarea interogărilor de tip Hive pe scripturi, shell și Hue.

C. Managementul datelor cu stup

Diverse baze de date, crearea de baze de date, formate de date în stup, modelarea datelor, tabele gestionate de hive, tabele auto-gestionate, încărcare de date, schimbarea bazelor de date și tabele, simplificarea interogărilor cu vizualizări, stocarea rezultatelor, cu Stateg, Metastore Hive și serverul Thrift.

D. Optimizarea stupului

Învățați performanța interogării, indexarea datelor, partiționarea și exploatarea

E. Extinderea stupului

Implementarea funcțiilor definite de utilizator pentru extinderea stupului

F. Mâinile pe exerciții - lucrează cu seturi mari de date și interogări extinse

Implementarea stupului pentru volume imense de seturi de date și cantități mari de interogări

G. UDF, optimizarea interogărilor

Lucrând extensiv cu interogări definite de utilizator, învățând cum să optimizați interogările, diferite metode pentru a efectua reglarea performanței.

Impala

A. Introducere în Impala

Ce este Impala ?, Cum Impala diferă de stup și de porc, cum Impala diferă de bazele de date, limitele și direcțiile viitoare, folosind Impala Shell

B. Alegerea celui mai bun (stup, porc, impala)

C. Modelarea și gestionarea datelor cu Impala și Hive

Stocarea datelor, crearea de baze de date și tabele, încărcarea datelor în tabele, HCatalog, impachetarea metadatelor Impala

D. Partiționarea datelor

Partiționarea generală, partiționarea în Impala și stup

(AVRO) Formatele de date

Selectarea unui format de fișier, Suport de instrumente pentru formate de fișiere, Avro scheme, Utilizarea Avro cu stup și Sqoop, Avro Schema Evolution, Compression

Introducere în arhitectura Hbase

Ce este Hbase, Unde se potrivește, Ce este NOSQL

Apache Spark

A. De ce scânteie? Lucrul cu sistemul distribuit de fișiere Spark și Hadoop

Ce este Spark, Comparație între Spark și Hadoop, Components of Spark

B. Componente de scanteie, Algoritmi sparkeri obișnuiți - algoritmi iraționali, analiză grafică, învățare în mașină

Apache Spark - Introducere, consistență, disponibilitate, partiție, scânteie Unified Stack, Componente scanteiere, exemplu de scaldare, mahout, furtună, grafic

C. Running Spark pe un cluster, scrierea aplicațiilor Spark utilizând Python, Java, Scala

Explicați exemplul python, Afișați instalarea unei scânteie, Explicați programul de șofer, Explicați contextul scântei cu exemplul, Definiți variabila slab tastată, Combinați scala și java fără probleme, Explicați concurrency și distribuție. Explicați ce este trăsătură, Explicați funcția de ordin superior cu exemplu, Define OFI planificator, Avantajele Spark, Exemplu de Lamda folosind scânteie, Explicați Mapreduce cu exemplu

Hadoop Cluster Setup și Running Map Reduce locurile de muncă

Setarea clusterului cu mai multe noduri utilizând Amazon ec2 - Crearea setării clusterului nodului 4, Rularea hărții Reducerea locurilor de muncă pe cluster

Proiect major - Punerea împreună și conectarea punctelor

Punerea totul împreună și Punctele de conectare, Lucrul cu seturi de date mari, Etape implicate în analizarea datelor mari

Conectivitate ETL cu ecosistemul Hadoop

Cum funcționează instrumentele ETL în datele de mare Industrie, Conectarea la HDFS din instrumentul ETL și mutarea datelor din sistemul local în HDFS, Mutarea datelor din DBMS în HDFS, Lucrul cu stup cu ETL Tool, Crearea hărții Reducerea locurilor de muncă în instrumentul ETL, End to End ETL PoC care prezintă o integrare mare a datelor cu instrumentul ETL.

Cluster Configuration

Prezentare generală a configurației și fișierul de configurare important, parametrii și valorile de configurare, parametrii HDFS Parametrii MapReduce, configurarea mediului Hadoop, fișierele de configurare "Include" și "Exclude", Lab: MapReduce Performance Tuning

Administrare și întreținere

Structuri și fișiere de directoare Namenode / Datanode, Imagine sistem de fișiere și Editare jurnal, Procedura de verificare a punctelor de trecere, Procedură de eșec și recuperare Namenode, Mod de siguranță, Metadate și Backup de date, Probleme și soluții potențiale / ce să caute, Adăugarea și eliminarea nodurilor, MapReduce Sistem de fișiere de recuperare

Monitorizare și depanare

Cele mai bune practici de monitorizare a unui cluster, Utilizarea de jurnale și de stive de urmărire pentru monitorizare și depanare, Utilizarea instrumentelor open-source pentru monitorizarea clusterului

Schemă de lucru: Harta reduce fluxul de depunere a postului

Cum să programați locuri de muncă pe același grup, FIFO Program, Fair Scheduler și configurația acestuia

Setarea și executarea hărților în grupul Multi Node Reduceți locurile de muncă pe Amazon Ec2

Setarea clusterului cu mai multe noduri utilizând Amazon ec2 - Crearea setării clusterului nodului 4, Rularea hărții Reducerea locurilor de muncă pe cluster

INGRIJITOR ZOO

ZOOKEEPER, cazuri de utilizare ZOOKEEPER, servicii ZOOKEEPER, model de date ZOOKEEPER, Znodes și tipurile sale, operații Znodes, ceasuri Znodes, zonturi citite și inscripționate, garanții de consistență, management cluster, alegeri leader,

Advance Oozie

De ce Oozie ?, Instalarea lui Oozie, Executarea unui exemplu, Oozie-workflow, Exemplu M / R action, Exemplu de numărare Word, Workflow application, Workflow submission, Transitions de stare de flux de lucru, Oozie job processing, , Închiriere multiplă și scalabilitate, Linia de timp a jobului Oozie, Coordonator, Bundle, Straturi de abstractizare, Arhitectură, Caz de utilizare 1: declanșatoare de timp, Utilizare Caz 2: declanșatoare de date și timp,

Advance Flume

Privire de ansamblu asupra Apache Flume, surse de date distribuite fizic, Schimbarea structurii datelor, aspect mai strâns, anatomia flumei, concepte de bază, eveniment, clienți, agenți, sursă, canale, chiuvete, interceptoare, selector de canale, , Schimbul de date tranzacțional, Rutarea și replicarea, De ce canale ?, Utilizare caz- Agregare log, Adăugarea agentului de flume, Manipularea unei ferme de server, Volum de date pe agent, Exemplu care descrie implementarea unui singur nod

Advance HUE

Introducerea HUE, ecosistemul HUE, ce este HUE ?, vizualizarea lumii reale HUE, Avantajele HUE, Cum se încarcă datele în File Browser ?, Vizualizați conținutul, Integrarea utilizatorilor, Integrarea HDFS, Fundamentele HUE FRONTEND

Advance Impala

IMPALA Prezentare generală: obiective, vizualizarea utilizatorului Impala: SQL, vizualizarea utilizatorului Impala: Apache HBase, arhitectura Impala, magazinul Impala, serviciul de catalog Impala, fazele de execuție a interogărilor,

Testarea aplicațiilor Hadoop

De ce este importantă testarea, testarea unității, testarea integrării, testarea performanțelor, diagnosticarea, testarea QA pe timp de noapte, testele de referință și sfârșitul sfârșitului, testarea funcțională, testarea certificării de lansare, testarea securității, testarea scalabilității, punerea în funcțiune și dezafectarea testelor nodurilor de date, , Test de lansare

Rolurile și responsabilitățile profesioniștilor din domeniul testării Hadoop

Înțelegerea cerinței, pregătirea estimării testelor, cazurile de testare, datele testului, crearea testului, execuția testului, raportarea defecțiunilor, retestarea defecțiunilor, livrarea rapoartelor de stare zilnică, finalizarea testelor, testarea ETL în fiecare etapă (HDFS, HIVE, HBASE) încărcarea intrărilor (jurnale / fișiere / înregistrări etc) utilizând sqoop / flume care include, dar nu se limitează la testarea datelor, reconcilierea, autorizarea utilizatorilor și autentificarea (grupuri, utilizatori, privilegii etc.) ei să închidă, să consolideze toate defectele și să creeze rapoarte de defecte, să valideze noi caracteristici și probleme în Core Hadoop.

Cadru numit Unitatea MR pentru testarea programelor de reducere a hărții

Raportați defectele echipei de dezvoltare sau managerului și conducându-le la închidere, Consolidați toate defectele și creați rapoarte de defecte, Responsabil pentru crearea unui cadru de testare numit MR Unit pentru testarea programelor Map-Reduce.

Testarea unităților

Testarea automatizării utilizând OOZIE, Validarea datelor utilizând instrumentul de creștere a interogărilor.

Executarea testului

Plan de testare pentru actualizarea HDFS, automatizarea testelor și rezultate

Planul de testare Strategia și scrierea cazurilor de testare pentru testarea aplicației Hadoop

Cum se testează instalarea și configurarea

Asistență pentru locuri de muncă și certificare

Cloudera Certification Sfaturi și îndrumare și Mock Interviu de pregătire, Sfaturi practice de dezvoltare și tehnici

Vă rugăm să ne scrieți la info@itstechschool.com & contactați-ne la + 91-9870480053 pentru prețul cursului și costul de certificare, programare și locație

Dați-ne o întrebare

Acest curs de formare este conceput pentru a vă ajuta să eliminați ambele Cloudera Spark și certificarea Hadoop pentru dezvoltatori (CCA175) examen și Administrator certificat Cloudera pentru Apache Hadoop (CCAH) examen. Întregul conținut al cursului de formare este în concordanță cu aceste două programe de certificare și vă ajută să eliminați cu ușurință aceste examene de certificare și să obțineți cele mai bune locuri de muncă în topul MNC-urilor.

Ca parte a acestui training, veți lucra la proiecte în timp real și misiuni care au implicații imense în scenariul industriei reale, ajutându-vă astfel să vă urmăriți cu ușurință cariera fără efort.

La sfârșitul acestui program de instruire vor exista chestionare care să reflecte perfect tipul de întrebări adresate în cadrul examenelor de certificare respective și vă vor ajuta să obțineți mai multe note în examenul de certificare.

Certificat de absolvire a cursului ITS va fi acordat la finalizarea lucrărilor proiectului (la revizuirea experților) și la notarea a cel puțin 60% puncte în test. Certificarea Intellipaat este recunoscută în topul 80 + MNC-urilor Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware etc.

Pentru mai multe informații cu plăcere Contacteaza-ne.


Review-uri