tipUsposabljanje učilnice
REGISTER

Kontakt

Polja označena z * so potrebne

 

velik potek certificiranja hadoop

Big Data Hadoop certifikacijski tečaj in usposabljanje

Pregled

Občinstvo in predpogoji

Osnutek tečaja

Urnik in pristojbine

certificiranje

Pregled podatkov o certifikatu Big Data Hadoop

To je celovit tečaj usposabljanja Hadoop Big Data, ki so ga oblikovali strokovnjaki iz industrije, pri čemer upoštevajo trenutne zahteve glede delovne industrije, da bi zagotovili poglobljeno učenje o velikih podatkih in modulih Hadoop. To je industrijsko priznani tečaj certificiranja Big Data, ki je kombinacija izobraževalnih tečajev v razvijalcu Hadoop, administratorja Hadoop, testiranja Hadoop in analitike. To Cloudera Trening Hadoop vas bo pripravil na čiščenje velikega certificiranja podatkov.

Cilji

  • Osnovni temelji Hadoop 2.7 in YARN ter napišite aplikacije, ki jih uporabljajo
  • Nastavitev Pseudo vozlišča in Multi vozlišča na Amazon EC2
  • Master HDFS, MapReduce, Panj, prašič, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Learn Spark, Spark RDD, Graphx, MLlib pisanje Spark aplikacij
  • Uveljavljanje administrativnih dejavnosti Hadoopa, kot so upravljanje grozdov, spremljanje, upravljanje in odpravljanje napak
  • Konfiguriranje ETL orodij, kot je Pentaho / Talend za delo z MapReduce, Panj, Pig itd
  • Podrobno razumevanje analize Big Data
  • Hadoop testiranje aplikacij z uporabo enote MR in drugih orodij za avtomatizacijo.
  • Delo s formati podatkov Avro
  • Vadite projekte v realnem življenju, ki uporabljajo Hadoop in Apache Spark
  • Bodite opremljeni za čiščenje certifikata Big Data Hadoop.

namenjena

  • Programski razvijalci in sistemski skrbniki
  • Izkušeni strokovni delavci, vodje projektov
  • Big DataHadoop Developers, ki želijo naučiti druge vertikale, kot so Testiranje, Analitika, Upravljanje
  • Strokovnjaki za arhitekturo in arhitekte
  • Business Intelligence, skladiščenje podatkov in strokovnjaki za analitike
  • Diplomanti, študenti, ki se želijo naučiti najnovejše tehnologije Big Data, lahko uporabljajo spletno izobraževanje Big Data Hadoop Certification

Predpogoji

  • Ni predpogoja, da bi vzeli to veliko podatkovno usposabljanje in obvladali Hadoop. Ampak osnove UNIX, SQL in java bi bilo dobro.Z Intellipaat, nudimo brezplačen Unix in Java tečaj z našim Big Data certificiranje usposabljanje za brush-up potrebnih spretnosti, tako da ste dobro na vas Hadoop učenje poti.

Trajanje programa: 2 Days

Uvod v Big Data & Hadoop in njegov ekosistem, zmanjšanje zemljevida in HDFS

Kaj je Big Data, Kje se prilega Hadoop, Distributed File System Hadoop - Replike, velikost bloka, sekundarna Namenoda, visoka razpoložljivost, Razumevanje YARN - ResourceManager, NodeManager, Razlika med 1.x in 2.x

Namestitev in nastavitev Hadoop

Hadoop 2.x arhitektura grozdov, federacija in visoka razpoložljivost, tipična proizvodnja grozdov, načini grozda Hadoop, skupni ukazi Hadoop Shell, konfiguracijske datoteke Hadoop 2.x, Cluster Single-Eode cluster

Deep Dive v Mapreduce

Kako deluje Mapreduce, kako Reducer deluje, Kako deluje gonilnik, Combiners, particionerji, oblike vnosa, izhodne oblike, naključno in razvrščanje, povezani zemljevidi, zmanjšanje stranskih povezav, MRUnit, razdeljeni predpomnilnik

Labne vaje:

Delo s programom HDFS, Pisanje programa WordCount, Pisanje po meri particionerja, Mapreduce s Combinerjem, Priključevanje strani s stranjo, Zmanjševanje stranskih povezav, Preizkus enote Mapreduce, Izvajanje Mapreduce v načinu LocalJobRunner

Graf Problem Reševanje

Kaj je graf, grafična predstavitev, prvi širinski iskalni algoritem, grafična predstavitev zmanjšanja zemljevida, kako narediti grafični algoritem, primer grafičnega zemljevida zmanjšati,

    Vaja 1: Vaja 2: Vaja 3:

Podrobno razumevanje Prašiča

A. Uvod v prašičereje

Razumevanje Apache Pig, funkcije, različne uporabe in učenje za interakcijo s prašiči

B. Uvajanje prašičev za analizo podatkov

Sintaksa Pig Latin, različne definicije, sortiranje in filtriranje podatkov, tipi podatkov, uvajanje Pig za ETL, nalaganje podatkov, pregledovanje shem, definicije polj, pogosto uporabljene funkcije.

C. Prase za kompleksno obdelavo podatkov

Različne vrste podatkov, vključno z gnezdenimi in zapletenimi, obdelavo podatkov s prašičem, združevanje podatkovne iteracije, praktično izvajanje

D. Izvajanje večsetnih podatkovnih operacij

Združevanje podatkov, razdelitev podatkov, različne metode za združevanje podatkov, nastavitev operacij, praktična vadba

E. Razširitev prašičev

Razumevanje uporabniško določenih funkcij, izvajanje obdelave podatkov z drugimi jeziki, uvoz in makri, uporaba pretočnih in UDF-jev za razširitev prašičev, praktične vaje

F. Pig Jobs

Delo z resničnimi podatki, ki vključujejo Walmart in Electronic Arts kot študijo primerov

Podrobno razumevanje panj

A. Predstavitev panj

Razumevanje Hive, primerjava tradicionalnih baz podatkov s primerjavo Hive, Pig in Pora, shranjevanje podatkov v shemi panj in panj, interakcije s panj in različnimi primeri uporabe panj

B. Panj za analizo relacijskih podatkov

Razumevanje HiveQL-a, osnovne sintakse, različnih tabel in podatkovnih baz, podatkovnih tipov, združevanja podatkov, različnih vgrajenih funkcij, uvajanja poizvedb Hive na skripte, lupino in Hue.

C. Upravljanje podatkov s panj

Različne zbirke podatkov, izdelava podatkovnih zbirk, podatkovne oblike v panju, modeliranje podatkov, tabele, ki jih upravljajo košnice, samodejno upravljane tabele, nalaganje podatkov, spreminjanje podatkovnih baz in tabele, poenostavitev poizvedb s prikazi, shranjevanje rezultatov, nadzor dostopa do podatkov, upravljanje podatkov s Hive, Hive Metastore in Thrift strežnik.

D. Optimizacija panj

Učna uspešnost poizvedbe, indeksiranje podatkov, particioniranje in ponovitev

E. Razširitev panj

Uvajanje uporabniško definiranih funkcij za razširitev panj

F. Roke na vajah - delo z velikimi zbirkami podatkov in obsežno poizvedovanje

Razvrščanje panj za velike količine nizov podatkov in velike količine poizvedb

G. UDF, optimizacija poizvedb

Obširno delo z uporabniško določenimi poizvedbami, učenje, kako optimirati poizvedbe, različne metode za nastavitev uspešnosti.

Impala

A. Uvod v Impala

Kaj je Impala ?, kako Impala odstopa od panj in prašiča, kako Impala odstopa od relacijskih podatkovnih baz, omejitev in prihodnjih navodil, z uporabo impala lupine

B. Izbira najboljših (panj, prašičev, impala)

C. Modeliranje in upravljanje podatkov s Impala in Panj

Pregled shranjevanja podatkov, Ustvarjanje podatkovnih baz in tabel, Nalaganje podatkov v tabele, HCK, Impala metapodatkov

D. Razdelitev podatkov

Razdelitev Pregled, razdelitev v Impala in Panj

(AVRO) podatkovnih formatov

Izbira oblike datoteke, podpore orodij za oblike datotek, Avro sheme, Avro s hojo in Sqoop, Avro Schema Evolution, stiskanjem

Uvod v arhitekturo Hbase

Kaj je Hbase, Kje se ujema, Kaj je NOSQL

Apache Spark

A. Zakaj Spark? Delo s porazdeljenim datotečnim sistemom Spark in Hadoop

Kaj je Spark, Primerjava med Spark in Hadoop, Komponente Spark

B. Spark Components, skupni iskri algoritmi-iterativni algoritmi, analiza grafov, strojno učenje

Apache Spark - uvod, doslednost, razpoložljivost, particija, iskrena vžigalica, komponente isker, primer zajemanja, mahout, nevihta, graf

C. Zagon Spark na grozdu, pisanje aplikacij za iskre z uporabo Python, Java, Scala

Pojasnite primerek python, Prikaži namestitev iskre, Pojasnite program gonilnika, Razložite spark kontekst s primerom, Definirajte šibko vneseno spremenljivko, Združite scalo in javo brezhibno, Pojasnite vzporednost in porazdelitev., Pojasnite, kaj je lastnost, Pojasnite funkcijo višjega reda s primerom, Definirajte OFI Scheduler, Prednosti Spark, Primer Lamda z iskrico, Pojasnite Mapreduce z zgledom

Hadoop Cluster Setup in Running Map zmanjša število delovnih mest

Multi Node Cluster Setup z uporabo Amazon ec2 - Ustvarjanje 4 vozlišča vozlišča, Running Map Zmanjšajte opravila na grozd

Glavni projekt - Vse skupaj in povezovalne točke

Vse skupaj in povezovalne točke, delo z velikimi nizi podatkov, koraki za analiziranje velikih podatkov

ETL povezljivost z ekosistemom Hadoop

Kako orodja ETL delujejo v industriji velikih podatkov, povezovanju s HDFS iz orodja ETL in premikanju podatkov iz lokalnega sistema v HDFS, premikanje podatkov iz DBMS v HDFS, delo s panj z orodjem ETL, ustvarjanje zemljevida Zmanjšajte delo v orodju ETL, End to End ETL PoC prikazuje veliko integracijo podatkov z orodjem ETL.

Konfiguracija grozda

Pregled konfiguracije in pomembna konfiguracijska datoteka, konfiguracijski parametri in vrednosti, parametri HDFS MapReduce parametri, nastavitev okolja Hadoop, konfiguracijske datoteke »Vključi« in »Izključi«, Lab: MapReduce Performance Tuning

Upravljanje in vzdrževanje

Strukture in datoteke imenika Namenode / Datanode, Datoteka sistemske slike in Urejanje dnevnika, Postopek kontrolne točke, Namenode okvara in postopek obnovitve, Varen način, Metapodatki in varnostno kopiranje podatkov, Potencialne težave in rešitve / kaj iskati, Dodajanje in odstranjevanje vozlišč, Lab: MapReduce File System Recovery

Spremljanje in odpravljanje težav

Najboljše prakse spremljanja grozda, Uporaba dnevnikov in sledi stikov za spremljanje in odpravljanje težav, Uporaba odprtokodnih orodij za spremljanje grozda

Job Scheduler: zemljevid zmanjša pretok opravil

Kako načrtovati delovna mesta na istem grozdu, FIFO Urnik, načrtovalec poštenosti in njegovo konfiguracijo

Multi Node Cluster Setup in Running Map zmanjša število delovnih mest na Amazon Ec2

Multi Node Cluster Setup z uporabo Amazon ec2 - Ustvarjanje 4 vozlišča vozlišča, Running Map Zmanjšajte opravila na grozd

OSKRBNIK ŽIVALSKEGA VRTA

ZOOKEEPER Uvod, ZOOKEEPER službe, ZOOKEEPER storitve, Podatki modela ZOOKEEPER, Znode in njegovi tipi, Operacije Znodes, Znode ure, Znodes bere in piše, Konzistentne garancije, Upravljanje s klasterji, Izbira Leader, Distribuirana ekskluzivna ključavnica, Pomembne točke

Advance Oozie

Zakaj Oozie ?, Namestitev Oozie, Vzpostavljanje primera, Oozie- workflow engine, Primer M / R akcija, Primer štetja besedila, Aplikacija Workflow, Delovni tok, Prehodi za pretok delovnega toka, Oozie obdelava opravil, Oozie varnost, Zakaj Oozie varnost? , Multi najem in razširljivost, Časovna vrstica opravila Oozie, koordinator, Bundle, sloji abstrakcije, arhitektura, uporaba Primer 1: časovni sprožilci, uporaba primera 2: sprožilci podatkov in časov, uporaba primera 3: valjčno okno

Advance Flume

Pregled Apache Flume, fizično porazdeljeni viri podatkov, spreminjanje strukture podatkov, bližnji videz, anatomija plamena, koncepti jedra, dogodek, odjemalci, zastopniki, vir, kanali, ponori, prestrezniki, izbirnik kanalov, procesor korita, podatkovni vnos, , Izmenjava podatkov o transakcijah, usmerjanje in razmnoževanje, zakaj kanali ?, uporaba primera - združevanje dnevnika, dodajanje agentov, obvladovanje strežniške kmetije, obseg podatkov na agent, primer, ki opisuje enojno uvajanje vozlišča vozlišča

Advance HUE

HUE uvod, HUE ekosistem, Kaj je HUE ?, HUE pravi pogled na svet, Prednosti HUE, Kako naložiti podatke v brskalnik brskalnika ?, Oglejte si vsebino, Integrirajte uporabnike, Integrirajte HDFS, Osnove HUE FRONTEND

Advance Impala

IMPALA Pregled: cilji, pogled na uporabnika Impala: pregled, pogled uporabnika Impala: SQL, pogled uporabnika Impala: Apache HBase, Impala arhitektura, državna trgovina Impala, storitev Impala kataloga, faze izvajanja poizvedb, primerjava Impala s košnicami

Preizkušanje aplikacij Hadoop

Zakaj je testiranje pomembno, Testiranje enot, Testiranje integracije, Testiranje učinkovitosti, Diagnostika, Nočni test QA, Benchmark in end-end testi, Funkcionalno testiranje, Testiranje izdaje certifikata, Testiranje varnosti, Preizkušanje skalabilnosti, Zagon in razgradnja preskušanja podatkovnih vozlišč, Testiranje zanesljivosti , Testiranje sproščanja

Vloge in odgovornosti strokovnjaka za testiranje Hadoop

Razumevanje zahtev, priprava ocene preizkušanja, testnih primerov, testnih podatkov, izdelave preskusne postelje, izvajanja testov, poročanja o napakah, ponovitve napak, dnevnega poročila o stanju, zaključka testa, testiranja ETL na vsaki stopnji (HDFS, HIVE, HBASE) nalaganje vhoda (dnevniki / datoteke / zapisi ipd.) z uporabo sqoop / flume, ki vključuje, vendar ni omejeno na preverjanje podatkov, spravo, preverjanje avtorizacije in preverjanje pristnosti (skupine, uporabniki, pravice), napake poročila razvojni ekipi ali upravitelju in vožnja jih zapreti, konsolidirati vse napake in ustvariti poročila o napakah, preveriti nove funkcije in težave v Core Hadoop.

Okvir, imenovano enota MR za preskušanje programov za zmanjševanje števila zemljevidov

Poročajte o napakah razvojni skupini ali upravitelju in jih prepustite zaprtju, konsolidirajte vse napake in ustvarite poročila o napakah, odgovoren za izdelavo preskusnega okvira pod imenom MR enota za testiranje programov za zmanjšanje kakovosti zemljevidov.

Testiranje enot

Testiranje avtomatizacije s pomočjo OOZIE-a, validacije podatkov z uporabo orodja za navijanje poizvedb.

Preskusna izvedba

Preizkusni načrt za nadgradnjo HDFS, avtomatizacijo testov in rezultat

Strategija testnega načrta in pisanje testnih primerov za testiranje aplikacije Hadoop

Kako testirati namestitev in konfigurirati

Podpora za delo in potrditev

Cloudera certifikacijski nasveti in vodenje ter priprava priprave na pripravo, praktični razvojni nasveti in tehnike

Pišite nam na info@ititschschool.com in se obrnite na nas na + 91-9870480053 za ceno tečaja in stroške certificiranja, urnik in lokacijo

Spusti nas poizvedbo

Ta tečaj usposabljanja je zasnovan tako, da vam pomaga oba oba Cloudera Spark in Hadoop Developer Certification (CCA175) izpit in Cloudera Certified Administrator za Apache Hadoop (CCAH) izpit. Celotna vsebina izobraževalnega tečaja je v skladu s tema dvema certifikacijskima programoma in vam pomaga z lahkoto očistiti te certifikacijske izpite in pridobiti najboljša delovna mesta v top MNC-jih.

Kot del tega usposabljanja boste delali na projektih in nalogah v realnem času, ki imajo ogromne posledice v realnem scenariju v realnem svetu, kar vam bo pomagalo hitro spremljati svojo kariero.

Na koncu tega programa usposabljanja bodo na voljo kvizi, ki popolnoma odražajo vrsto vprašanj, ki jih zahtevajo ustrezni certifikacijski izpiti, in vam pomaga pri doseganju boljših ocen pri izpitnem certifikatu.

Certifikat o zaključku ITS bo dodeljena ob zaključku projektnega dela (pri strokovnem pregledu) in po točkovanju najmanj 60% točk v kvizu. Certificiranje Intellipaat je dobro prepoznavno v topih 80 + MNC-jih, kot so Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware itd.

Za več informacij prijazno Kontaktiraj nas.


komentarji