típustantermi képzés
REGISZTRÁCIÓ

nagy adathordozó tanfolyam

Big Data Hadoop tanúsítás tanfolyam és képzés

Áttekintés

Közönség és előfeltételek

Tanfolyam körvonal

Ütemezés és díjak

Tanúsítvány

Big Data Hadoop tanúsítási tanfolyam áttekintése

Ez egy átfogó Hadoop Big Data képzés, amelyet az iparági szakemberek terveznek, figyelembe véve az aktuális iparági munkakörülményeket, hogy alaposan megismerjék a nagy adatokat és a Hadoop Modulokat. Ez egy iparági elismert Big Data minősítő képzés, amely a Hadoop fejlesztő, a Hadoop adminisztrátor, a Hadoop tesztelés és az analitika képzéseinek kombinációja. Ez Cloudera A Hadoop-képzés felkészíti Önt arra, hogy törölje a nagy adatminősítést.

Célkitűzések

  • A Hadoop 2.7 és a YARN mester alapjai és alkalmazások írása
  • A Pseudo csomópont és a Multi csomópont-fürt beállítása az Amazon EC2 rendszeren
  • Master HDFS, MapReduce, Hive, Sertés, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Ismerje meg a Sparkot, a Spark RDD-t, a Graphx-ot, az MLlib Spark alkalmazásokat
  • Master Hadoop adminisztrációs tevékenységek, mint a klaszterkezelés, felügyelet, adminisztráció és hibaelhárítás
  • ETL eszközök beállítása, például a Pentaho / Talend a MapReduce, Hive, Pig, stb
  • A nagy adatelemzés részletes megértése
  • Hadoop vizsgálati alkalmazások MR egység és egyéb automatizálási eszközök segítségével.
  • Az Avro adatformátumokkal való együttműködés
  • Gyakorlat valós projektek Hadoop és Apache Spark használatával
  • Fel kell szerelni a Big Data Hadoop tanúsítványt.

Célközönség

  • Programozó fejlesztők és rendszergazdák
  • Tapasztalt dolgozó szakemberek, projektvezetők
  • Big DataHadoop fejlesztők, akik kíváncsiak más vertikumok megismerésére, mint a tesztelés, az elemzés, az adminisztráció
  • Mainframe Professionals, Architects & Testing Professionals
  • Üzleti intelligencia, adattárház és Analytics szakemberek
  • Pályakezdő hallgatók, akik szeretnék megtanulni a legújabb Big Data technológiát, el tudják fogadni ezt a Big Data Hadoop Certification online képzést

Előfeltételek

  • Nincsenek előfeltételek a Big Data képzés elvégzéséhez és a Hadoop mesterkedéséhez. De a UNIX, az SQL és a java alapjai is jóak lehetnek. Intellipaat, ingyenes Unix és Java tanfolyamot adunk a Big Data minősítő képzéssel, hogy felfrissítsük a szükséges készségeket, hogy jó legyen a Hadoop tanulási útvonalon.

Course Outline Duration: 2 Days

Bevezetés a nagy adatokhoz és a Hadoophoz és ökoszisztémájához, Map Reduce és HDFS

Mi a Big Data, Hol csatlakozik a Hadoop, a Hadoop elosztott fájlrendszer - replikációk, blokkméret, másodlagos névmód, nagy rendelkezésre állás, YARN - ResourceManager, NodeManager, 1.x és 2.x közötti különbség

Hadoop Telepítés és beállítás

Hadoop 2.x fürtarchitektúra, szekció és nagy rendelkezésre állás, tipikus termelési klaszter beállítása, Hadoop klaszter módok, közös Hadoop Shell parancsok, Hadoop 2.x konfigurációs fájlok, Cloudera Single csomópont klaszter

Mély merülés Mapreduce-ban

Hogyan működik a Mapreduce, hogyan működik a redukáló, hogyan működik a vezérlő, kombinálók, partíciók, bemeneti formátumok, kimeneti formátumok, keveredés és rendezés, Mapside csatlakozik, csökkentik az oldalösszeköttetéseket, MRUnit, elosztott gyorsítótár

Lab gyakorlatok:

A HDFS használatával, a WordCount program írása, az egyedi partíciók írása, a Mapreduce a kombinátorral, a térképoldalhoz való csatlakozás, az oldalsó csatlakozások csökkentése, a Mapreduce tesztelése, a Mapreduce használata a LocalJobRunner módban

Grafikon Problémamegoldás

Mi a grafikon, a grafikon ábrázolása, a lágyság első keresési algoritmusa, a térképcsökkenés grafikonjának ábrázolása, a grafikon algoritmusa, a grafikonmappa példája,

    Gyakorlat 1: Gyakorlat 2: Gyakorlat 3:

A Pig részletes megértése

A. Bevezetés a sertésbe

Az Apache Pig megértése, a funkciók, a különböző felhasználások és a sertéstelenséggel való tanulás

B. A sertés behozata az adatok elemzéséhez

A Pig Latin szintaxisa, a különböző definíciók, az adattípusok és a szűrők, az adattípusok, a Sertés ETL telepítése, az adatok betöltése, a sémák megtekintése, a mezők meghatározása és a gyakran használt funkciók.

C. Sertés komplex adatfeldolgozáshoz

Különféle adattípusok, beleértve a beágyazott és összetett adatokat, feldolgozás a sertéssel, csoportosított adatok iterálása, gyakorlati gyakorlat

D. Performing multi-dataset operations

Adatkészlet-csatlakozás, adatmegosztás, különböző módszerek az adatkészlet-kombinációhoz, műveletek beállítása, gyakorlati gyakorlat

E. Pig kiterjesztése

A felhasználó által definiált funkciók megértése, más nyelvekkel történő adatfeldolgozás, importálás és makrók, streaming és UDF-ek használata a sertéshúzás kiterjesztése érdekében, gyakorlati feladatok

F. Pig Jobs

A Walmart és az Electronic Arts bevonásával valós adathalmazokkal dolgozva esettanulmányként

A méhészet részletes megértése

A. Méhkas Bevezetés

A méhészet megértése, a hagyományos adatbázisok összehasonlítása a méhkas, a sertés és a méhészet összehasonlításával, az adatok tárolása a méhkas és a méhészet sémájában, a méhkas interakció és a méh

B. Kötözés a relációs adatok elemzéséhez

A HiveQL, az alapvető szintaxis, a különböző táblák és adatbázisok, az adattípusok, az adatcsatlakozás, a különböző beépített függvények, a Hive lekérdezések telepítése a parancsfájlokról, a shell-ról és a Hue-ról.

C. Adatkezelés a méhkasággal

A különböző adatbázisok, adatbázisok létrehozása, adatformátumok a méhkasban, adatmodellezés, méhészet által kezelt táblák, önműködő táblák, adatbetöltés, adatbázisok és táblázatok cseréje, lekérdezések leegyszerűsítése nézetekkel, lekérdezések eredményes tárolása, adatátvitel ellenőrzése, adatkezelés a Hive, a Hive Metastore és a Thrift szerverrel.

D. A méhészet optimalizálása

A lekérdezés, az adat-indexelés, a partícionálás és a bucketing teljesítményének tanulási teljesítménye

E. A méhkas kiterjesztése

Felhasználó által definiált funkciók telepítése a méhészet kiterjesztésére

F. Harci gyakorlatok - nagy adatkészletekkel és kiterjedt lekérdezéssel

A méh eltávolítása hatalmas mennyiségű adathalmazra és nagy mennyiségű lekérdezésre

G. UDF, lekérdezés optimalizálás

Széleskörűen dolgozik a felhasználó által definiált lekérdezésekkel, megtanulva, hogyan optimalizálhatja a lekérdezéseket, és különböző módszerekkel végezheti el a teljesítményt.

Impala

Bevezetés Impala-ba

Mi az impala ?, Hogyan Impala különbözik a méhkas és a sertés, hogyan Impala eltér a relációs adatbázisok, korlátozások és a jövő irányok, az Impala Shell

B. A legjobb választás (Méh, Sertés, Impala)

C. Az Impala és a Hive modellezése és kezelése

Adattárolási áttekintés, Adatbázisok és táblázatok létrehozása, Adatok betöltése táblákba, HCatalog, Impala metaadat-gyorsítótár

D. Adatmegosztás

Particionálás áttekintése, partícionálás Impalában és méhkasban

(AVRO) adatformátumok

Fájlformátum kiválasztása, eszköztámogatás fájlformátumokhoz, Avro sémák, Avro használata a méhkas és a Sqoop használatával, Avro Schema Evolution, Compression

Bevezetés a Hbase architektúrába

Mi a Hbase, hol illik, mi az a NOSQL

Apache Spark

A. Miért Spark? A Spark és a Hadoop elosztott fájlrendszerrel való munkavégzés

Mi a Spark, a Spark és a Hadoop összehasonlítása, a Spark komponensei

B. Spark Components, Common Spark Algoritmusok - Iteratív algoritmusok, grafikonelemzés, gépi tanulás

Apache Spark - Bevezetés, konzisztencia, rendelkezésre állás, partíció, egyesített veremszóró, szikrakomponensek, forrázási példa, mahout, vihar, grafikon

C. Spark futtatása egy fürtben, Spark alkalmazások írása Python, Java, Scala segítségével

Magyarázza meg a python példáját, megmutatja a szikra telepítését, az illusztrálja az illesztőprogramot, a szikraösszetevőt magyarázza meg példával, definiálja a gyengén beírt változót, kombinálja a skálát és a java-t zökkenőmentesen, magyarázza meg a versenyt és a terjesztést, magyarázza el, mi a tulajdonság, magyarázza meg a magasabb rendű függvényt, ütemező, Spark előnyei, Lamda példája szikra használatával, Példa a Mapreduce magyarázatra

A Hadoop Cluster telepítése és a térképek futtatása csökkentheti a munkákat

Multi Node Cluster telepítés az Amazon ec2 használatával - 4 csomópont-fürt beállítása, a térképen végzett munka csökkentése a fürten

Major Project - Összeszerelés és összekötő pontok

Összeszerelés és Csatlakozó pontok, Nagyméretű adathalmazok használata, A nagy adatok elemzéséhez szükséges lépések

ETL kapcsolódás a Hadoop ökoszisztémához

Hogyan működnek az ETL-eszközök a nagy adatfeldolgozó iparban, az ETL eszköz HDFS-hez való csatlakoztatásához és a helyi rendszerről a HDFS-be történő adatforgatáshoz, az adatok áthelyezése a DBMS-ből a HDFS-be, a méhfelhasználással az ETL eszközzel, a térképkészítés csökkentésével ETL-eszközzel, PoC nagy adatintegrálást mutatott az ETL eszközzel.

Klaszterkonfiguráció

Konfigurációs áttekintés és fontos konfigurációs fájl, Konfigurációs paraméterek és értékek, HDFS paraméterek MapReduce paraméterek, Hadoop környezet beállítása, "Beillesztés" és "Kizárás" konfigurációs fájlok, Lab: MapReduce Performance Tuning

Adminisztráció és karbantartás

Namenode / Datanode könyvtár struktúrák és fájlok, fájlrendszer kép és szerkesztési napló, Checkpoint eljárás, Namenode hiba és helyreállítási eljárás, biztonságos mód, metaadatok és adatmentés, lehetséges problémák és megoldások / mit kell keresni, csomópontok hozzáadása és eltávolítása, Lab: MapReduce fájlrendszer helyreállítása

Monitoring és hibaelhárítás

A klaszter felügyeletének legjobb módszerei, naplók és veremkövetések nyomon követése és hibaelhárítása, nyílt forráskódú eszközök használata a fürt megfigyelésére

Job ütemező: A térkép csökkenti a feladatok benyújtásának folyamatát

Hogyan kell ütemezni a munkákat ugyanazon a klaszteren, a FIFO ütemezést, a Fair Schedulert és annak konfigurációját

Multi Node Cluster beállítása és futási térkép Csökkenti a munkát az Amazon Ec2-on

Multi Node Cluster telepítés az Amazon ec2 használatával - 4 csomópont-fürt beállítása, a térképen végzett munka csökkentése a fürten

ÁLLATGONDOZÓ

ZOOKEEPER Bevezetés, ZOOKEEPER felhasználási esetek, ZOOKEEPER szolgáltatások, ZOOKEEPER adatmodell, Znodes és típusai, Znodes műveletek, Znodes órák, Znodes olvasás és írás, Konzisztencia garanciák, Klaszter menedzsment, Leader választás, Elosztott kizárólagos zár, Fontos pontok

Advance Oozie

Oozie? Oozie telepítése, Oozie telepítése, Példa futása, Oozie munkafolyamat motor, Példa M / R művelet, Word számláló példa, Munkafolyamat alkalmazás, Munkafolyamat benyújtása, Munkafolyamat állapotátváltások, Oozie munkafolyamatok feldolgozása, Oozie biztonság, Oozie biztonság? , Többcélú bérlet és méretezhetőség, Oozie munka idővonalai, Koordinátor, Csomópont, Absztrakciós rétegek, Építészet, 1 eset használata: időkapcsolók, 2 esetén: az adatok és az idő triggerek, Az 3 használata: gördülő ablak

Advance Flume

Áttekintés az Apache Flume-ra, Fizikailag elosztott adatforrások, Az adatok struktúrájának megváltoztatása, Closer look, Flume anatómiája, Alapkoncepciók, Események, Ügyfelek, ügynökök, Forrás, Csatornák, Mosogatók, Interceptorok, Csatornaválasztó, Mosogató processzor, Adatok bevitele, Agent csővezeték , Tranzakciós adatcsere, Útválasztás és többszörözés, Csatornák miért ?, Használja az eset-napló aggregációt, A flume ügynök hozzáadását, Szerver farm kezelése, Adatok könyvelése ügynökenként, Példa egyetlen csomópont-telepítésre

Advance HUE

HUE bevezetés, HUE ökoszisztéma, Mi a HUE ?, HUE valóságos nézet, HUE előnyei, Hogyan tölts fel adatokat a fájl böngészőben ?, Tartalom megtekintése, Felhasználók integrálása, HDFS integrálása, HUE FRONTEND alapjai

Advala Impala

IMPALA Áttekintés: Célok, Impala felhasználói nézete: Áttekintés, Impala felhasználói nézete: SQL, Impala felhasználói nézete: Apache HBase, Impala architektúra, Impala állami bolt, Impala katalógusszolgáltatás, Lekérdezés végrehajtási fázisai, Impala összevetése a méhkashoz

Hadoop Alkalmazás Vizsgálat

Miért fontos a tesztelés, az egységvizsgálat, az integrációs tesztelés, a teljesítményvizsgálat, a diagnosztika, az éjszakai QA teszt, a benchmark és a végpontok tesztelése, a funkcionális tesztelés, a kiadási tanúsítás tesztelése, a biztonsági tesztelés, a skálázhatósági tesztelés, az adatcsomópontok tesztelése és megbízhatósága , Release tesztelés

A Hadoop Testing Professional szerepkörei és felelősségei

A tesztelés becslésének előkészítése, vizsgálati esetek, vizsgálati adatok, tesztágyak létrehozása, teszt végrehajtása, hibajelentés, hibatesztelés, napi állapot jelentés készítése, teszt befejezése, ETL tesztelés minden szakaszban (HDFS, HIVE, HBASE), miközben az adatbevitelt, az egyeztetést, a felhasználói jogosultságot és a hitelesítési tesztet (csoportok, felhasználók, jogosultságok stb.) betöltő bemenet (naplók / fájlok / rekordok stb.) betöltése, beleértve a sqoop / flume használatát, zárja be őket, megszüntesse az összes hibát, és hozzon létre hibabejelentéseket, új jellemzőket és problémákat érvényesítsen a Core Hadoop-ban.

Az MR egységet a térképcsökkentő programok tesztelésére használják

Jelentéshibák a fejlesztőcsapatnak vagy a menedzsernek, és a bezáráskor történő vezetéshez, Az összes hiba megszilárdítása és hibakeresési hibák létrehozása. Felelős egy MR egységet tartalmazó tesztkörnyezet létrehozására a Map-Reduce programok teszteléséhez.

Egységvizsgálat

Automatizálási tesztelés az OOZIE használatával, Adatellenőrzés a lekérdezés túlfeszültség eszközzel.

A teszt végrehajtása

Tesztelési terv a HDFS frissítéshez, teszt automatizálás és eredmény

Teszt terv stratégia és írás teszt esetek tesztelésére Hadoop alkalmazás

A telepítés és konfigurálás tesztelése

Állás és tanúsítás támogatása

Cloudera Hitelesítési Tippek és Útmutató és Mock Interjú előkészítés, gyakorlati fejlesztési tippek és technikák

Kérjük, írjon nekünk info@itstechschool.com és vegye fel velünk a kapcsolatot a + 91-9870480053 címen a tanfolyam ára és tanúsítási költsége, ütemezése és helyszíne

Adjon le egy lekérdezést

Ez a tanfolyam célja, hogy segítsen tisztázni mindkettőt Cloudera Spark és Hadoop fejlesztői tanúsítvány (CCA175) vizsga és Cloudera Certified Administrator az Apache Hadoop-hoz (CCAH) vizsga. Az egész tanfolyam tartalma összhangban van e két tanúsítási programmal, és segít könnyíteni ezeket a tanúsítási vizsgákat, és megkapja a legjobb munkahelyeket a legmagasabb MNC-kben.

A képzés részeként olyan valós idejű projekteket és feladatokat fogsz működni, amelyek óriási hatással vannak a valós világi forgatókönyvre, így segítve a karriered gyors ütemezését.

A képzési program végén olyan kvízek állnak rendelkezésre, amelyek tökéletesen tükrözik az adott képesítési vizsgákon feltett kérdések típusát, és segítenek a jobb minősítések megszerzésében a minősítő vizsgán.

ITS tanfolyam befejezési bizonyítvány a szakértői értékelés befejeztével és a kvóta legalább 60% -os pontszámának megszerzésével ítélik oda. Az Intellipaat tanúsítványt az 80 + MNC-k, mint az Ericsson, a Cisco, a Cognizant, a Sony, a Mu Sigma, a Saint-Gobain, a Standard Chartered, a TCS, a Genpact, a Hexaware stb.

További információért kérlek Lépjen kapcsolatba velünk.


Vélemények