typŠkolenie v triede
REGISTRÁCIA

veľký dátový certifikačný kurz hadoop

Big Data Hadoop certifikačný kurz a školenie

Prehľad

Publikum a predpoklady

Priebeh kurzu

Plán a poplatky

Certifikát

Big Data Hadoop Certifikácia kurzu Prehľad

Je to komplexný tréningový kurz Hadoop Big Data navrhnutý odborníkmi z oblasti priemyslu, ktorí berú do úvahy súčasné požiadavky na prácu v priemysle a poskytujú hĺbkové vzdelávanie na veľkých dátách a moduloch Hadoop. Jedná sa o odvetvovo uznávaný výcvikový kurz zameraný na certifikáciu Big Data, ktorý je kombináciou školení pre vývojárov Hadoop, administrátora Hadoop, testovania Hadoop a analýzy. toto Cloudera Školenie Hadoop vás pripraví na vyčistenie veľkej certifikácie dát.

Ciele

  • Základné základy programov Hadoop 2.7 a YARN a písať aplikácie pomocou nich
  • Nastavenie clusteru Pseudo node a Multi node na Amazon EC2
  • Master HDFS, MapReduce, Úľ, Prasa, Oozie, Squoop, Flume, Zookeeper, HBase
  • Naučte sa Spark, Spark RDD, Graphx, MLlib písanie aplikácie Spark
  • Majster Hadoop administratívne aktivity, ako je správa klastrov, monitorovanie, správa a riešenie problémov
  • Konfigurácia ETL nástrojov ako Pentaho / Talend pre prácu s MapReduce, Hive, Pig, atď
  • Podrobné pochopenie analýzy veľkých údajov
  • Hadoop testovanie aplikácií pomocou MR jednotky a ďalších automatizačných nástrojov.
  • Práca s formátmi údajov Avro
  • Realizujte projekty v reálnom živote s použitím aplikácie Hadoop a Apache Spark
  • Byte vybavený na vyčistenie certifikácie Big Data Hadoop.

zamýšľané publikum

  • Programovanie vývojárov a systémových administrátorov
  • Skúsení pracovníci, projektoví manažéri
  • Big DataHadoop Vývojári túži zistiť ďalšie vertikály ako Testovanie, Analytics, Správa
  • Profesionálni pracovníci sálových počítačov, architekti a skúšajúci odborníci
  • Business Intelligence, Data warehousing a Professionals Analytics
  • Absolventi, vysokoškoláci, ktorí sa chcú naučiť najnovšiu technológiu Big Data, môžu absolvovať on-line školenia Big Data Hadoop Certification

Predpoklady

  • Neexistuje žiadny predpoklad na to, aby ste absolvovali tento veľký výcvik dát a ovládli Hadoopa. Ale základy UNIX, SQL a java by boli dobré. Na Intellipaat poskytujeme bezplatný kurz UNIX a Java s naším školením o certifikácii Big Data, aby sme získali potrebné zručnosti, aby ste boli na dobrej ceste k učeniu Hadoop.

Course Outline Duration: 2 Days

Úvod do Big Data & Hadoop a jeho Ekosystém, Mapa Znížiť a HDFS

Čo je to Big Data Odkiaľ Hadoop zapadnúť, Hadoop Distributed File System - Replications, Block Size, Secondary Namenode, vysoká dostupnosť, Pochopenie priadze - ResourceManager, NodeManager, Rozdiel medzi 1.x a 2.x

Hadoop Inštalácia a nastavenie

Hadoop 2.x Cluster Architektúra, federácie a vysoká dostupnosť, Typická inštalácia Production Cluster, režimy Hadoop klastra Common Hadoop Shell príkazy, Hadoop konfiguračných súborov 2.x, klaster Cloudera Single node

Hlboké ponory v Mapreduce

Ako funguje Mapreduce, ako Redukcia funguje, Ako funguje ovládač, Kombinátory, Rozdeľovače, Vstupné formáty, Výstupné formáty, Shuffle a Sort, Mapové spojenia, Redukcia bočných spojov, MRUnit, Distribuovaná vyrovnávacia pamäť

Labové cvičenia:

Práca s HDFS, písanie programu WordCount, písanie vlastného oddielu, Mapreduce s kombinérom, Map Side Join, Zníženie bočných spojení, Unit Testovanie Mapreduce, Spustenie Mapreduce v LocalJobRunner móde

Riešenie problémov s grafmi

Čo je graf, reprezentácia grafov, prvý vyhľadávací algoritmus, grafické znázornenie zmenšenia mapy, ako urobiť grafový algoritmus, príklad zúženia mapy grafov,

    Cvičenie 1: Cvičenie 2: Cvičenie 3:

Podrobné chápanie ošípaných

A. Úvod do prasa

Pochopenie Apache Pig, funkcie, rôzne použitia a učenie sa komunikovať s prasa

B. Nasadenie ošípanej pre analýzu dát

Syntax Pig Latin, rôzne definície, triedenie a filtrovanie dát, typy dát, nasadenie Pig pre ETL, načítanie údajov, zobrazenie schém, definície poľa, bežne používané funkcie.

C. Prasa pre komplexné spracovanie údajov

Rôzne typy údajov vrátane vnorených a zložitých, spracovanie dát s Pig, skupinová dátová iterácia, praktické cvičenie

D. Performing multi-dataset operations

Spájanie dátových súborov, rozdelenie množiny údajov, rôzne metódy kombinácie dátových súborov, nastavenie operácií, praktické cvičenie

E. Rozšírenie ošípaných

Porozumenie používateľom definovaných funkcií, spracovanie údajov s inými jazykmi, importy a makrá pomocou streamingu a UDF na rozšírenie Prasa, praktické cvičenia

F. Pig Jobs

Práca so skutočnými dátovými súbormi zahŕňajúcimi Walmart a Electronic Arts ako prípadovú štúdiu

Podrobné porozumenie úry

A. Úvod do úľov

Pochopenie úľu, porovnanie tradičných databáz s porovnaním Úľ, Prasa a Úľa, ukladanie údajov v schéme úľov a včel, interakcia v úľoch a rôzne prípady úlovku

B. Úľ pre analýzu relačných dát

Pochopenie HiveQL, základná syntax, rôzne tabuľky a databázy, dátové typy, spájanie dátových súborov, rôzne vstavané funkcie, nasadenie úlovkových dotazov na skripty, shell a Hue.

C. Správa údajov s úľami

Rôzne databáz, tvorba databáz, dátových formátov v úli, modelovanie dát, Hive riadené stoly, ktorí sami spravujú tabuľky, údaje o tankovaní, meniace databáz a tabuliek, dotazov zjednodušenie s výhľadom, výsledkom ukladania otázok, riadenie prístupu k dátam, správa dát s úľami, metódou Hive Metastore a Thrift.

D. Optimalizácia úlu

Výkonnosť výučby dotazu, indexovania údajov, rozdelenia a vykrývania

E. Rozšírenie úlu

Nasadenie užívateľom definovaných funkcií pre rozšírenie Úľ

F. Ruky na cvičenie - pracuje s veľkými dátovými súbormi a rozsiahlym dotazovaním

Rozmiestnenie úlu pre obrovské objemy dátových súborov a veľké množstvo dopytov

G. UDF, optimalizácia dopytu

Práca s používateľsky definovanými dopytmi, ako sa optimalizovať dopyty, rôzne metódy na ladenie výkonu.

Impala

A. Úvod do spoločnosti Impala

Čo je Impala ?, ako sa Impala líši od úľov a prasaťa, ako sa impala líši od relatívnych databáz, obmedzení a budúcich smerov, pomocou impala Shell

B. Výber najlepších (úľ, prasa, impala)

C. Modelovanie a správa dát s Impala a Úľou

Prehľad ukladania dát, vytváranie databáz a tabuliek, načítanie údajov do tabuliek, HCatalog, ukladanie metaúdajov Impala do vyrovnávacej pamäte

D. Rozdelenie údajov

Prehľad rozdelenia, rozdelenie do Impala a Úľa

(AVRO) dátových formátov

Výber formátu súboru, Podpora nástrojov pre formáty súborov, Avro schémy, Použitie Avro s úľami a Sqoop, Avro Schema Evolution, Compression

Úvod do architektúry Hbase

Čo je Hbase, Kde sa hodí, Čo je to NOSQL

Apache Spark

A. Prečo Spark? Práca so systémom Spark a Hadoop Distributed File System

Čo je Spark, Porovnanie medzi Spark a Hadoop, Komponenty Spark

B. Súčasti iskier, bežné sparkové algoritmy - iteračné algoritmy, grafová analýza, strojové učenie

Apache Spark - Úvod, konzistencia, dostupnosť, oddiel, jednotná stacková iskra, komponenty iskier, príklad opaľovania, mahout, búrka, graf

C. Spustenie Spark v klastri, písanie aplikácií Spark pomocou Pythonu, Java, Scala

Vysvetliť python napríklad ukazujú inštaláciu iskru, vysvetliť program ovládača, Vysvetlenie zapaľovacie súvislosti s napríklad definovať slabo zadaný premennou Kombinovať Scala a Java hladko, vysvetliť súbežnosť a distribúciu., Vysvetliť, čo je vlastnosť, vysvetliť vyššiu funkciu objednávky sa napríklad definovať Ofi plánovač, Výhody Spark, Príklad Lamda pomocou iskry, Vysvetlite Mapreduce s príkladom

Hadoop Cluster Setup a Running Map Zníženie pracovných miest

Nastavenie klastra viacerých uzlov pomocou programu Amazon ec2 - Vytvorenie nastavenia clusteru uzlov 4, Spustenie mapy Zníženie počtu pracovných miest na klastri

Hlavný projekt - spojenie všetkých dohromady a spojovacie body

Uvedenie všetkých dohromady a spojovacích bodov, práca s veľkými dátovými súbormi, kroky týkajúce sa analýzy veľkých údajov

Pripojenie ETL s ekosystémom Hadoop

Ako ETL nástroje pre prácu vo veľkom dátovom priemysle, Pripojenie k HDFS z ETL nástroj a presúvanie dát z lokálneho systému HDFS, Presúvanie dát z RDBMS do HDFS, Práca s úľa s ETL nástroj, Tvorba MapReduce prácu v ETL nástroj, End to End ETL PoC s veľkou integráciou údajov s nástrojom ETL.

Konfigurácia klastra

Prehľad konfigurácie a dôležitý konfiguračný súbor, Konfiguračné parametre a hodnoty, Parametre HDFS MapReduce parametre, nastavenie prostredia Hadoop, konfiguračné súbory "Include" a "Exclude", Lab: MapReduce Performance Tuning

Správa a údržba

Namenode / Datanode adresárovej štruktúry a súborov, systém súborov na disk a Edit log, Checkpoint Procedure, zlyhanie Namenode a vymáhanie, Safe Mode, zálohovanie Metadáta aj dáta, potenciálne problémy a ich riešenie / čo hľadať, pridávanie a odoberanie uzlov, Lab: MapReduce Systém súborov Obnova

Monitorovanie a odstraňovanie problémov

Najlepšie postupy monitorovania klastra, Používanie protokolov a stopových zostáv na monitorovanie a odstraňovanie problémov, Používanie nástrojov s otvoreným zdrojom na monitorovanie klastra

Plánovač úloh: mapa znižuje tok odosielania úloh

Ako plánovať prácu na rovnakom klastri, plán FIFO, spravodlivý plánovač a jeho konfiguráciu

Nastavenie klastra viacerých uzlov a spustenie mapy Zmenšiť úlohy na Amazon Ec2

Nastavenie klastra viacerých uzlov pomocou programu Amazon ec2 - Vytvorenie nastavenia clusteru uzlov 4, Spustenie mapy Zníženie počtu pracovných miest na klastri

OŠETROVATEĽ V ZOO

ZOOKEEPER Úvod, ZOOKEEPER služby, ZOOKEEPER služby, ZOOKEEPER dátový model, Znodes a jeho typy, Znodes operácie, Znodes hodinky, Znodes číta a zapisuje, Záruky konzistencie, Manažment klastrov, Voľba Leader, Distribuovaný Exclusive Lock, Dôležité body

Advance Oozie

Prečo Oozie ?, Inštalácia aplikácie Oozie, Spustenie príkladu, Oozie-workflow, Príklad príkazu M / R, Príklad počtu slov, Aplikácia workflow, Workflow submission, Prechod stavu Workflow, Oozie spracovanie úloh, Oozie security, Why Oozie security? , Viacnásobná nájomná a škálovateľnosť, časová línia úlohy Oozie, koordinátor, zväzok, vrstvy abstrakcie, architektúra, pouzitie 1: časové spúšťače, Použitie prípadu 2: spúšťače údajov a času, Použitie prípadu 3:

Advance Flume

Prehľad Apache Flume, Fyzicky distribuované zdroje dát, Zmena štruktúry dát, Bližší pohľad, Anatómia flumeu, Základné koncepty, Udalosť, Klienti, Agenti, Zdroje, Kanály, Sinks, Interceptors, Channel selector , Transakčná výmena dát, Smerovanie a replikácia, Prečo kanály ?, Použitie prípadu - Agregácia denníkov, Pridávanie agenta agenta, Manipulácia so serverovou farmou, Objem dát na agenta, Príklad popisujúci rozmiestnenie jedného uzla

Advance HUE

HUE úvod, HUE ekosystém, Čo je HUE ?, HUE reálny svet názor, Výhody HUE, Ako nahrať dáta v prehliadači súborov ?, Prezrite si obsah, Integrácia užívateľov, Integrácia HDFS, Základy HUE FRONTEND

Advance Impala

IMPALA Prehľad: Ciele, Užívateľský pohľad na Impala: Prehľad, Užívateľský pohľad na Impala: Apache HBase, Impala architektúra, Impala štátny obchod, Impala katalógová služba, Fáza realizácie dopytu, Porovnanie Impala s Úľou

Hadoop Application Testing

Prečo je testovanie dôležité, testovanie jednotky, testovanie integrácie, testovanie výkonnosti, diagnostika, nočný QA test, benchmark a end-to-end testy, funkčné testy, certifikačné testy uvoľnenia, testovanie bezpečnosti, testovanie škálovateľnosti, uvádzanie do prevádzky a vyraďovanie skúšok dátových uzlov, , Testovanie vydania

Úlohy a zodpovednosti profesionálneho skúšajúceho Hadoopa

Pochopenie požiadaviek, príprava testovacej odhadu, skúšobných prípadov, testovacích dát, tvorba testovacej vrstvy, vykonanie testu, hlásenie porúch, opakovanie testu vad, hlásenie denného stavu, dokončenie testu, testovanie ETL v každej fáze (HDFS, HIVE, HBASE) načítanie vstupov (protokoly / súbory / záznamy atď.) pomocou sqoop / flume, ktoré zahŕňajú, ale nie sú obmedzené na overenie údajov, testovanie používateľov, autorizáciu a overenie totožnosti (skupiny, používatelia, oprávnenia atď. ich uzatvorenie, zjednotiť všetky chyby a vytvoriť správy o chybe, overiť nové funkcie a problémy v Core Hadoop.

Rámček s názvom MR Unit for Testing of Map-Reduce Programs

Nahlásiť chyby vývojovému tímu alebo manažérovi a vedie ich k uzavretiu, Konsolidovať všetky chyby a vytvárať správy o poruchách, Zodpovedné za vytvorenie testovacieho rámca nazvaného MR Unit pre testovanie programov Map-Reduce.

Testovanie jednotiek

Testovanie automatizácie pomocou nástroja OOZIE, validácia údajov pomocou nástroja na zvýšenie dopytu.

Vykonanie testu

Plán testovania na upgrade HDFS, automatizáciu testov a výsledok

Testovací plán Stratégia a písanie Testovacie prípady na testovanie aplikácie Hadoop

Ako otestovať inštaláciu a konfiguráciu

Podpora pre prácu a certifikáciu

Cloudera certifikácia Tipy a poradenstvo a Mock rozhovor Príprava, Praktické vývoj Tipy a techniky

Napíšte nám na adresu info@itstechschool.com a kontaktujte nás na adrese + 91-9870480053 na cenu a certifikáciu ceny, harmonogramu a miesta

Dajte nám otázku

Tento kurz je navrhnutý tak, aby vám pomohol vyčistiť oboje Certifikácia vývojárov Cloudera Spark a Hadoop (CCA175) skúška a Certifikovaný administrátor spoločnosti Cloudera pre Apache Hadoop (CCAH) skúška. Celý obsah vzdelávacieho kurzu je v súlade s týmito dvoma certifikačnými programami a pomáha vám jasne vyčistiť tieto certifikačné skúšky a získať najlepšie práce v najvyšších MNC.

Ako súčasť tohto školenia budete pracovať na projektoch a úlohách v reálnom čase, ktoré majú obrovský vplyv na scenáre reálneho priemyslu, čím vám pomôže rýchlo sledovať vašu kariéru bez námahy.

Na konci tohto tréningového programu budú kvízy, ktoré dokonale odrážajú typ otázok položených v príslušných certifikačných skúškach a pomôžu vám získať lepšie známky v certifikačnej skúške.

Osvedčenie o absolvovaní kurzu bude udelená na dokončenie práce na projekte (na odbornej revízii) a na bodovaní minimálne 60% známok v kvíze. Certifikácia Intellipaat je dobre známa v spoločnostiach 80 + MNC ako Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware atď.

Pre viac informácií láskavo Kontaktuj nás.


recenzia