typŠkolení v učebně
REGISTRACE

Kontaktujte nás

Pole označená * jsou potřeba

 

velký datový certifikační kurz hadoop

Big Data Hadoop certifikační kurz a školení

O programu

Publikum a předpoklady

Přehled kurzu

Plán a poplatky

Osvědčení

Big Data Hadoop Přehled certifikace kurzu

Jedná se o komplexní vzdělávací kurz Hadoop Big Data navržený odborníky z oboru, kteří zvažují současné požadavky na práci v průmyslu a poskytují hluboké učení o velkých datech a modulech Hadoop. Jedná se o průmyslově uznávaný vzdělávací kurz pro školení Big Data, který je kombinací výcvikových kurzů v vývojáři Hadoop, administrátorovi Hadoopovi, testování Hadoop a analytice. Tento Cloudera Školení Hadoop vás připraví na vymazání velkých certifikací dat.

Cíle

  • Základní principy aplikací Hadoop 2.7 a YARN a jejich aplikace
  • Nastavení clusteru Pseudo node a Multi uzel na Amazon EC2
  • Master HDFS, MapReduce, Úl, Prase, Oozie, Squoop, Flume, Zookeeper, HBase
  • Learn Spark, Spark RDD, Graphx, psaní MLlib Spark
  • Hlavní činnosti administrátora Hadoop jako správa clusteru, monitorování, správa a odstraňování problémů
  • Konfigurace nástrojů ETL jako Pentaho / Talend pro práci s MapReduce, Úlu, Prase atd
  • Podrobné pochopení analýzy Big Data
  • Hadoop testování aplikací pomocí MR Unit a dalších automatizačních nástrojů.
  • Práce s datovými formáty Avro
  • Procvičte projekty v reálném životě pomocí Hadoop a Apache Spark
  • Být vybavený k vymazání certifikace Big Data Hadoop.

Očekávané publikum

  • Programování vývojářů a správců systému
  • Zkušení pracovníci, projektoví manažeři
  • Vývojáři Big DataHadoop, kteří se chtějí naučit další vertikály jako Testování, Analytics, Správa
  • Specialisté na sálové počítače, architekti a zkušební odborníci
  • Business Intelligence, Data warehousing a Professionals Analytics
  • Absolventi, vysokoškoláci, kteří se chtějí naučit nejnovější technologie Big Data, mohou absolvovat online školení Big Data Hadoop Certification

Předpoklady

  • Neexistuje žádný předpoklad k tomu, aby se tento velký datový trénink a zvládnutí Hadoopa. Ale základy UNIXu, SQL a java by byly dobré. Na Intellipaat nabízíme bezplatný kurzy unix a Java s naším školením o certifikaci Big Data, abychom si vybrali potřebné dovednosti, abyste byli na své cestě výuky Hadoop dobří.

Délka osnovy kurzu: Dny 2

Úvod do Big Data & Hadoop a jeho ekosystému, Map Reduce a HDFS

Co je to velká data, kde se Hadoop vejde, Hadoop Distribuovaný souborový systém - replikace, velikost bloku, sekundární Namenode, vysoká dostupnost, porozumění YARN - ResourceManager, NodeManager, rozdíl mezi 1.x a 2.x

Hadoop Instalace a nastavení

Hadoop 2.x Klastrová architektura, federace a vysoká dostupnost, typické nastavení clusteru výroby, moduly clusteru Hadoop, příkazy Common Shell Hadoop, konfigurační soubory Hadoop 2.x, Cloudera Jediný uzelový cluster

Hluboké potápění v Mapreduce

Jak funguje Mapreduce, jak funguje reduktor, jak funguje ovladač, kombinace, diskové oddíly, vstupní formáty, výstupní formáty, náhodný výběr a třídění, mapové spojení, zmenšování postranních spojů, MRUnit, distribuovaná mezipaměť

Laboratorní cvičení:

Práce s HDFS, psaní programu WordCount, psaní vlastních partitionerů, Mapreduce s Combinerem, Map Side Join, Redukce postranních spojení, Testování jednotek Mapreduce, Run Mapreduce v LocalJobRunner Mode

Řešení problémů s grafy

Co je to graf, reprezentace grafu, první vyhledávací algoritmus, grafické znázornění zmenšení mapy, algoritmus grafu, příklad mapování grafu,

    Cvičení 1: Cvičení 2: Cvičení 3:

Podrobné porozumění prasete

A. Úvod do prasete

Porozumění Apache Pig, vlastnostem, různým způsobům použití a učení se s Pig

B. Nasazení prasete pro analýzu dat

Syntaxe Pig Latin, různé definice, třídění a filtrování dat, datové typy, nasazení Pig pro ETL, načítání dat, zobrazení schémat, definice pojmů, běžně používané funkce.

C. Prase pro komplexní zpracování dat

Různé datové typy včetně vnořených a složitých, zpracování dat s Pig, skupinová data iterace, praktické cvičení

D. Provádění operací s více daty

Spojení datových sad, rozdělení datových sad, různé metody kombinace datových sad, nastavení operací, praktické cvičení

E. Rozšíření prasete

Porozumění uživatelsky definovaným funkcím, zpracování dat s jinými jazyky, importy a makrami pomocí streamování a UDF pro rozšíření prasete, praktická cvičení

F. Pig Jobs

Práce se skutečnými datovými soubory zahrnujícími Walmart a Electronic Arts jako případovou studii

Podrobné porozumění Úlu

A. úl Úvod

Porozumění úlu, srovnání tradičních databází s porovnáním Úlu, Prase a Úl, ukládání dat v schématu Úl, Úl, interakci Úl a různé případy Úl

B. Úl pro analýzu relačních dat

Pochopení HiveQL, základní syntaxe, různých tabulek a databází, datových typů, spojení datových sad, různých zabudovaných funkcí, nasazení dotazů Hive na skriptech, shell a Hue.

C. Správa dat s úlu

Různé databáze, tvorba databází, datové formáty v podregistru, datové modelování, podřízené tabulky, samostatně spravované tabulky, načítání dat, změna databází a tabulek, zjednodušení dotazů se záběry, uložení dotazů, správa dat, správa dat s Úlu, Hive Metastore a Thrift serverem.

D. Optimalizace úlu

Výkonnost dotazu, indexování dat, rozdělení a rozdělování

E. Rozšíření úlu

Nasazení uživatelsky definovaných funkcí pro rozšíření Úl

F. Ruce na cvičení - práce s velkými datovými sadami a rozsáhlé dotazování

Nasazení podregula pro velké objemy datových sad a velké množství dotazů

G. UDF, optimalizace dotazů

Dlouhodobě pracujeme s uživatelsky definovanými dotazy, učíme se, jak optimalizovat dotazy, různé metody pro ladění výkonu.

Impala

A. Úvod do Impala

Co je Impala ?, Jak Impala se liší od úlu a prasete, jak Impala se liší od relačních databází, omezení a budoucích směrů, pomocí Impala Shell

B. Výběr nejlepšího (úl, prase, impala)

C. Modelování a správa dat s Impala a Úlu

Přehled úložišť dat, vytváření databází a tabulek, načítání dat do tabulky, HCatalog, mezipaměti Impala metadata

D. Rozdělení dat

Rozdělení oddílu, rozdělení do Impala a Úl

(AVRO) datových formátů

Výběr formátu souboru, podpora nástrojů pro formáty souborů, Avro schémata, použití programu Avro s úlu a Sqoop, vývoj schématu Avro, komprese

Úvod do architektury Hbase

Co je Hbase, Kde se to hodí, Co je to NOSQL

Apache Spark

A. Proč Spark? Práce s Distribuovaným systémem souborů Spark a Hadoop

Co je Spark, Srovnání mezi Sparkem a Hadoopem, Komponenty Spark

B. Součásti jisker, běžné sparkové algoritmy - iterativní algoritmy, grafová analýza, strojní učení

Apache Spark - Úvod, konzistence, dostupnost, oddíl, jednotná jiskrová jiskra, komponenty jisker, příklad opalování, mahout, bouře, graf

C. Spuštění jiskry na clusteru, psaní aplikací Spark pomocí Pythonu, Java, Scala

Vysvětlete příklad pythonu, Ukážte instalaci jiskry, Vysvětlete program řidiče, Vysvětlete kontext jiskru s příkladem, Definujte slabě napsanou proměnnou, Kombinujte scala a java hladce, Vysvětlete souběžnost a distribuci. Vysvětlete, co je vlastnost, Vysvětlete funkci vyššího řádu s příkladem, Definujte OFI plánovač, Výhody Spark, Příklad Lamda pomocí jiskry, Vysvětlete Mapreduce s příkladem

Hadoop Cluster Nastavení a provozní mapa Snížit úlohy

Nastavení více uzlů clusteru pomocí programu Amazon ec2 - Vytvoření nastavení clusteru uzlů 4, Spuštění mapy snižování úloh na clusteru

Hlavní projekt - Uveďte vše dohromady a spojovací body

Uvedení všech dohromady a Připojování bodů, Práce s velkými datovými sadami, Postup při analýze velkých dat

ETL konektivita s ekosystémem Hadoop

Jak pracují nástroje ETL ve velkých datech Průmysl, Připojení k HDFS z nástroje ETL a přesun dat z lokálního systému do HDFS, Přesun dat z DBMS do HDFS, Práce s úlu pomocí nástroje ETL, Vytváření mapy Zmenšit úlohu v nástroji ETL, End to End ETL PoC s velkou datovou integrací s nástrojem ETL.

Konfigurace clusteru

Konfigurační přehled a důležitý konfigurační soubor, Konfigurační parametry a hodnoty, Parametry HDFS Parametry MapReduce, Nastavení prostředí Hadoop, Konfigurační soubory "Zahrnout" a "Vyřadit", Lab: MapReduce Performance Tuning

Správa a údržba

Namenode / Datanode adresářové struktury a soubory, Image souborový systém a Upravit protokol, Procedura Checkpoint, Namenode selhání a obnovení, Safe Mode, Metadata a Záloha dat, Potenciální problémy a řešení / co hledat, Přidávání a odstranění uzlů, Lab: MapReduce Souborový systém Obnova

Monitorování a odstraňování problémů

Nejlepší postupy monitorování clusteru, používání protokolů a sledování zásobníků pro sledování a odstraňování problémů, používání nástrojů open-source pro monitorování clusteru

Plánovač úloh: mapa snižuje tok předkládání úloh

Jak naplánovat úlohy ve stejném clusteru, plán FIFO, spravedlivý plánovač a jeho konfigurace

Nastavení víceúčelových clusterů a spuštění mapy Snižte počet úloh v aplikaci Amazon Ec2

Nastavení více uzlů clusteru pomocí programu Amazon ec2 - Vytvoření nastavení clusteru uzlů 4, Spuštění mapy snižování úloh na clusteru

ZOOKEEPER

Zookeeper Úvod, případy užití Zookeeper Zookeeper, služby, ošetřovatel Data Model, Znodes a jeho typy, operace Znodes, Znodes hodinky, Znodes čte a zapisuje, konzistence záruky, správa Cluster Leader volby, distribuované výhradní zámek, důležité body

Advance Oozie

Proč Oozie ?, Instalace Oozie, Běh příklad, Oozie- workflow engine, Příklad M / R akce, Počet slov příklad, Workflow aplikace, Workflow podání, Workflow přechody stavů, Oozie zpracování úloh, Oozie zabezpečení, proč Oozie bezpečnost ?, podání Job multi nájemní a škálovatelnost, Time řada Oozie práce, koordinátor, svazek, vrstev abstrakce, architektura, Use Case 1: čas spouště, Use Case 2: data a času spustí, use case 3: valivý okno

Advance Flume

Přehled Apache náhonu, fyzicky distribuované zdroje dat, změnit strukturu dat, bližším pohledu Anatomie náhonu, Core koncepty, události, klienti, agenti, Source, kanály, Umyvadla, Interceptors, volič kanálů, Dřez procesor, data spolknout, Agent potrubí , Transakční výměna dat, Směrování a replikace, Proč kanály ?, Použití případu - Agregace protokolů, Přidání agenta agenta, Manipulace se serverovou farmou, Objem dat na agenta, Příklad popisující zavádění jednoho uzlu

Advance HUE

HUE úvod, HUE ekosystém, Co je to HUE ?, HUE reálný svět pohled, Výhody HUE, Jak nahrát data do prohlížeče souborů ?, Zobrazit obsah, Integrace uživatelů, Integrace HDFS, Základy HUE FRONTEND

Advance Impala

IMPALA Přehled: Cíle, Uživatelský pohled na Impala: Přehled, Uživatelský pohled na Impala: SQL, Uživatelský pohled na Impala: Apache HBase, Impala architektura, Impala state store, Impala katalog service,

Hadoop Testování aplikací

Proč je testování důležité, Unit testování, testování integrace, testování výkonu, diagnostika, Noční QA test, Benchmark a začátku do konce zkoušky, funkční testování, certifikace testování Release, testování zabezpečení, škálovatelnost testování, uvedení do provozu a mimo provoz datových uzlů testování, testování spolehlivosti , Testování uvolnění

Role a odpovědnost zkušebního specialistu Hadoop

Pochopení požadavek, příprava zkušebny odhadu testovacích případů, testovací data, tvorba test postel, zkušební spuštění, Defect Reporting, Defect Retest, Denní dodávka Hlášení, dokončení testu, testování ETL v každé fázi (HDFS, úl, HBASE), zatímco (protokoly / soubory / záznamy atd.) pomocí sqoop / flume, které zahrnují, ale neomezují se na testování dat, odsouhlasení, ověřování uživatelů a ověřování (skupiny, uživatelé, oprávnění apod.). je k uzavření, Konsolidovat všechny chyby a vytvářet zprávy o závadách, Ověřit nové funkce a problémy v Core Hadoop.

Rámeček s názvem MR jednotka pro testování programů snižujících počet map

Nahlásit chyby vývojovému týmu nebo manažerům a přimět je k ukončení, Konsolidovat všechny vady a vytvořit zprávy o poruchách, zodpovědný za vytvoření testovacího rámce s názvem MR Unit pro testování programů Map-Reduce.

Testování jednotky

Testování automatizace pomocí nástroje OOZIE, ověření dat pomocí nástroje pro nárůst dotazu.

Vykonání testu

Plán testů pro upgrade HDFS, automatizaci testů a výsledek

Testovací strategie Strategie a psaní Testovací případy pro testování aplikace Hadoop

Jak testovat instalaci a konfiguraci

Podpora práce a certifikace

Cloudera Certification Tipy a pokyny a příprava rozhovorů, Tipy a techniky praktického vývoje

Napište nám prosím na info@itstechschool.com a kontaktujte nás na adrese + 91-9870480053 za cenu a cenu za kurz, plán a umístění

Odešlete nám dotaz

Tento kurz je navržen tak, aby vám pomohl vyčistit oba Certifikace vývojářů Cloudera Spark a Hadoop (CCA175) zkouška a Certifikovaný administrátor společnosti Cloudera pro Apache Hadoop (CCAH) zkouška. Celý obsah vzdělávacího kurzu je v souladu s těmito dvěma certifikačními programy a pomáhá vám jasně vyčistit tyto certifikační zkoušky a získat nejlepší zaměstnání v horních MNC.

V rámci tohoto školení budete pracovat na projektech v reálném čase a úkoly, které mají obrovský dopad na scénář reálného průmyslu, čímž vám pomůže rychle sledovat vaši kariéru bez námahy.

Na konci tohoto vzdělávacího programu budou kvízy, které dokonale odrážejí typ otázek kladených v příslušných certifikačních zkouškách a pomohou vám dosáhnout lepších výsledků v certifikační zkoušce.

Osvědčení o absolvování kurzu ITS bude uděleno při dokončení projektové práce (na odborné přezkoumání) a při hodnocení alespoň značek 60% v kvízu. Certifikát Intellipaat je dobře známý v nejlepších 80 + MNC, jako jsou Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware atd.

Pro více informací laskavě Kontaktujte nás.


recenze




KEYWORDS SEARCH TERM

  • Big Data Hadoop trénink v gurgaon
  • Náklady na certifikaci Big Data Hadoop v Gurgaonu
  • Ústav pro velká data Hadoop v gurgaonu
  • Big Data Hadoop v Gurgaonu
  • Big Data Hadoop certifikace v gurgaon
  • Kurz Big Data Hadoop v Gurgaonu
  • Nejlepší Big Data Hadoop Školení Online
  • Trénink Big Data Hadoop