tipObuka u učionici
REGISTAR

Kontaktirajte nas

Polja označena sa * su obavezna

 

veliki podaci za certificiranje hadoop

Big Data Hadoop Certification Course & Training

pregled

Publika i preduslovi

Course Outline

Raspored i naknade

Potvrda

Pregled podataka o sertifikaciji Big Data Hadoop

To je sveobuhvatan Hadoop Big Data trening kurs dizajniran od strane stručnjaka iz oblasti industrije uzimajući u obzir postojeće zahtjeve posla u industriji kako bi pružio detaljno učenje o velikim podacima i Hadoop modulima. Ovo je industrijski priznat kurs za obradu certifikacija Big Data koji je kombinacija kurseva obuke u Hadoop programeru, Hadoop administratoru, Hadoop testiranju i analitici. Ovo Cloudera Trening Hadoop-a će vas pripremiti za brisanje velikih sertifikata podataka.

ciljevi

  • Master osnove Hadoop 2.7 i YARN i pisati aplikacije koje ih koriste
  • Postavljanje Pseudo čvorišta i Multi node klastera na Amazon EC2
  • Master HDFS, MapReduce, košnica, svinja, oozie, sqoop, flume, zookeeper, HBase
  • Saznajte Spark, Spark RDD, Graphx, MLlib pisanje Spark aplikacija
  • Master Hadoop administracijske aktivnosti kao što su upravljanje klasterima, nadzor, administracija i rešavanje problema
  • Konfiguriranje ETL alata kao što je Pentaho / Talend za rad sa MapReduce, Hive, Pig itd
  • Detaljno razumijevanje Big Data analitike
  • Hadoop testiranje aplikacija pomoću MR jedinice i drugih automatskih alata.
  • Radite sa formatima podataka Avro
  • Realizujte projekte stvarnog života koristeći Hadoop i Apache Spark
  • Budite opremljeni da izbrišete certifikaciju Big Data Hadoop.

namijenjen je publika

  • Programeri i administratori sistema
  • Iskusni radnici, projektni menadžeri
  • Big DataHadoop Developers koji žele naučiti druge vertikale kao što su Testiranje, Analitika, Administracija
  • Profesionalni profesionalci, stručnjaci za arhitekte i testiranje
  • Poslovna inteligencija, skladištenje podataka i profesionalci analitike
  • Diplomirani studenti, studenti koji žele naučiti najnoviju Big Data tehnologiju mogu preuzeti ovaj Big Data Hadoop sertifikat online treninga

Preduvjeti

  • Ne postoji preduslov za uzimanje ove velike obuke podataka i savladavanje Hadoop-a. Ali osnove UNIX-a, SQL-a i Java-a bi bile dobre. U Intellipaat-u, pružamo besplatni Unix i Java kurs uz našu Big Data sertifikacionu obuku kako bismo brisali potrebne vještine kako biste bili dobri na putu učenja Hadoop-a.

Trajanje programa kursa: 2 dana

Uvod u Big Data & Hadoop i njegov ekosistem, smanjenje mape i HDFS

Šta je Big Data, Gde se Hadoop uklapa, Hadoop Distributed File System - Replikacije, Veličina bloka, Sekundarna Namenoda, Visoka dostupnost, Razumevanje YARN - ResourceManager, NodeManager, Razlika između 1.x i 2.x

Hadoop Instalacija i podešavanje

Hadoop 2.x arhitektura klastera, federacija i visoka dostupnost, tipična proizvodnja klastera, Hadoop modovi klastera, obične Hadoop Shell komande, Hadoop 2.x konfiguracijske datoteke, Cloudera Jednodelni klaster

Deep Dive u Mapreduce

Kako funkcioniše Mapreduce, How Reducer radi, Kako vozač radi, Kombinatori, Partitioneri, Formati ulaza, Izlazni formati, Izmjene i sortiranje, Povezivanje sa mapama, Smanjivanje bočnih pridruživanja, MRUnit, Distribuirani keš

Labne vežbe:

Rad sa HDFS-om, Pisanje WordCount programa, Pisanje prilagođenog particionera, Mapreduce sa Combiner-om, Map Side Join, Smanjivanje bočnih pridruživanja, Testiranje jedinice Mapreduce, Pokretanje mapiranja u LocalJobRunner modu

Grafik rešavanja problema

Što je grafikon, grafička predstavka, algoritam prve alate za brušenje, grafička predstavljanja smanjenja mape, kako napraviti grafički algoritam, primer redukcije mape grafika,

    Vežbanje 1: Vežbanje 2: Vežba 3:

Detaljno razumevanje Svinje

A. Uvod u svinju

Razumijevanje Apache Pig-a, karakteristike, razne upotrebe i učenje za interakciju s svinjom

B. Razvijanje svinja za analizu podataka

Sintaksa Pig Latin, razne definicije, sortiranje i filtriranje podataka, tipovi podataka, primjena Pig za ETL, učitavanje podataka, pregledanje shema, definicije polja, funkcije koje se obično koriste.

C. Svinja za složenu obradu podataka

Različiti tipovi podataka uključujući ugnežene i složene, obradu podataka sa svinjom, grupisanu iteraciju podataka, praktičnu vežbu

D. Izvođenje operacija višestrukih podataka

Povezivanje podataka, razdvajanje podataka, razne metode kombinovanja podataka, podešavanje operacija, praktična vežba

E. Proširenje svinja

Razumijevanje korisničkih definisanih funkcija, obrada podataka sa drugim jezicima, uvoz i makro, korištenje strimovanja i UDF-ova za proširenje svinja, praktične vježbe

F. Pig Jobs

Rad sa stvarnim skupovima podataka koji uključuju Walmart i Electronic Arts kao studiju slučaja

Detaljno razumevanje Hivea

A. Uvod u košnice

Razumevanje Hivea, tradicionalno upoređivanje baza podataka sa poređenjem Hive, Pig i Hive, skladištenje podataka u Hive and Hive shemi, interakcija sa košnicama i različiti slučajevi Hive

B. Kugla za analizu relacionih podataka

Razumevanje HiveQL-a, osnovne sintakse, različitih tabela i baza podataka, tipova podataka, povezivanja podataka, različitih ugrađenih funkcija, primjene Hive upita na skripte, shell i Hue.

C. Upravljanje podacima s Hive

Razne baze podataka, kreiranje baza podataka, formati podataka u Hiveu, modeliranje podataka, tabele upravljane sa košnicama, tabele sa samim upravljanjima, učitavanje podataka, promjena baza podataka i tabela, pojednostavljivanje upita sa Pogledima, čuvanje rezultata pretraživanja, kontrola pristupa podacima, upravljanje podacima sa Hive, Hive Metastore i Thrift serverom.

D. Optimizacija košnice

Učenje performansi upita, indeksiranja podataka, particioniranja i bucketinga

E. Proširenje košnica

Razmeštanje korisničkih funkcija za proširenje Hive

F. Ruke na vežbama - rad sa velikim skupovima podataka i širokim upitima

Razmeštanje košnica za ogromne količine podataka i velike količine upita

G. UDF, optimizacija upita

U velikoj meri radite sa korisničkim definisanim upiti, naučite kako optimizirati upite, različite metode za podešavanje performansi.

impala

A. Uvod u Impala

Šta je Impala ?, Kako Impala odstupa od košnica i svinje, Kako se impala razlikuje od relacionih baza podataka, ograničenja i budućih pravaca, koristeći Impala školjku

B. Odabir najboljih (košnica, svinja, impala)

C. Modeliranje i upravljanje podacima sa Impala i košnicom

Pregled podataka za skladištenje podataka, Kreiranje baza podataka i tabela, učitavanje podataka u tabele, HCKatalog, impala metapodataka metapodataka

D. Particioniranje podataka

Pregled particionisanja, particioniranje u Impala i košenju

(AVRO) formati podataka

Izbor formata datoteke, podrške alatki za formate datoteka, Avro sheme, korištenje Avro s košnicama i kvadratom, Avro Schema Evolution, kompresija

Uvod u Hbase arhitekturu

Šta je Hbase, Gde se uklapa, Šta je NOSQL

Apache Spark

A. Zašto Spark? Rad sa Spark i Hadoop Distributed File System

Šta je Spark, Upoređivanje Spark-a i Hadoop-a, Komponente Spark-a

B. Spark komponente, Common Algorithms-Algoritmi - Iterativni algoritmi, Analiza grafova, Mašinsko učenje

Apache Spark- Uvod, Konzistentnost, Dostupnost, Particija, Unified Stack Spark, Spark komponente, Primer skaliranja, mahout, oluja, grafikon

C. Pokretanje Spark-a na klasteru, Pisanje Spark aplikacija koristeći Python, Java, Scala

Objasnite primjer pythona, Pokažite instaliranje varnice, Objasnijte program drajvera, Objasnite spark kontekst sa primjerom, Definišite slabo tipiziranu varijablu, Kombinujte scala i java neprimetno, Objasnite istovjetnost i distribuciju., Objasnite šta je osobina, Objasnite funkciju višeg reda s primjerom, Definišite OFI raspoređivač, Prednosti Spark, Primer Lamda koristeći varnicu, Objasnite Mapreduce sa primjerom

Hadoop Cluster Setup i Running Map smanjuju zapošljavanje

Multi Node Cluster Setup koristeći Amazon ec2 - Kreiranje 4 čvorišta klastera, Running Map Reduci posao na klasteru

Glavni projekat - stavljanje sve zajedno i povezivanje tačaka

Stavljanje sve zajedno i povezivanje tačaka, rad sa velikim skupovima podataka, koraci uključeni u analizu velikih podataka

ETL povezivanje sa Hadoop ekosistemom

Kako ETL alati funkcionišu u Big Data Industry, povezuju se sa HDFS iz ETL alatke i prebacuju podatke iz Lokalnog sistema u HDFS, prebacuju podatke iz DBMS-a u HDFS, rade sa Hive sa ETL alatom, kreiraju mapu smanjuju posao u ETL alat, End to End ETL PoC pokazuje veliku integraciju podataka sa ETL alatom.

Konfiguracija klastera

Pregled konfiguracije i važne konfiguracione datoteke, konfiguracioni parametri i vrijednosti, HDFS parametri MapReduce parametri, podešavanje okoline Hadoop, konfiguracijske datoteke 'Uključi' i 'Isključi', Lab: MapReduce Performance Tuning

Administracija i održavanje

Namenode / Datanode strukture i datoteke direktorija, Datoteka sistemskog imenika i Uredi dnevnik, Procedura kontrolne tačke, procedura provere Namenode i oporavak, Siguran režim, Metapodaci i rezervno kopiranje podataka, Potencijalni problemi i rješenja / šta tražiti, Dodavanje i uklanjanje čvorova, Lab: MapReduce Recovery sistem datoteka

Nadgledanje i rešavanje problema

Najbolja praksa praćenja klastera, Korišćenje evidencija i tragova staza za praćenje i rešavanje problema, Korišćenje open source alata za praćenje klastera

Job Scheduler: Mapa smanjuje protok prenosa posla

Kako planirati Jobs na istom klasteru, FIFO rasporedu, planeru i njegovoj konfiguraciji

Multi Node Cluster Setup i Running Map smanjuju zapošljavanje na Amazon Ec2

Multi Node Cluster Setup koristeći Amazon ec2 - Kreiranje 4 čvorišta klastera, Running Map Reduci posao na klasteru

ZOOKEEPER

ZOOKEEPER Uvod, ZOOKEEPER slučajevi korišćenja, ZOOKEEPER usluge, ZOOKEEPER podaci Model, Znodes i njegovi tipovi, operacije Znodes, Znodes satovi, Znodes čita i piše, Konzistentne garancije, Upravljanje klasterom, Leader izbori, Distribuirana ekskluzivna brava, Važne tačke

Advance Oozie

Zašto Oozie ?, Instaliranje Oozie-a, Pokretanje primera, Oozie- workflow engine, Primjer M / R akcije, Primjer za brojanje riječi, Aplikacija Workflow, Podnošenje toka posla, Prelazak na radni tok, Oozie obrada posla, Oozie sigurnost, Zašto Oozie sigurnost? , Multi lokacija i skalabilnost, Vremenska linija Oozie posla, Koordinator, Bundle, Slojevi apstrakcije, Arhitektura, Korišćenje Slučaj 1: vremenski okidač, Koristite slučaj 2: pokretači podataka i vremena, Koristite slučaj 3: prozor za prozore

Advance Flume

Pregled Apache Flume-a, fizički distribuirani izvori podataka, promjena strukture podataka, bliži izgled, anatomija plamena, ključni koncepti, događaj, klijenti, agenti, izvor, kanali, sudopere, presretači, selektor kanala, procesor sudopera, data ingest, , Transakcijska razmjena podataka, Routing i repliciranje, Zašto kanali ?, Koristi slučaj- Agregacija dnevnika, Dodavanje agenta za plamen, Upravljanje farmi servera, Obim podataka po agentu, Primer koji opisuje jedno razmještanje

Advance HUE

HUE uvod, HUE ekosistem, Šta je HUE ?, HUE stvarni pogled na svet, Prednosti HUE-a, Kako da otpremate podatke u File Browser ?, Pregledajte sadržaj, Integrišete korisnike, Integrišite HDFS, Osnove HUE FRONTEND

Advance Impala

IMPALA Pregled: Ciljevi, Pregled korisnika Impala: Pregled, Pregled korisnika Impala: SQL, Pogled korisnika na Impala: Apache HBase, Impala arhitektura, Impala državna trgovina, Impala katalog usluga, Faze izvršenja upita, Upoređivanje Impala sa košnicom

Hadoop testiranje

Zašto je testiranje važno, Ispitivanje jedinice, Testiranje integracije, Testiranje performansi, Dijagnostika, Nočni QA test, Benchmark i end-end testovi, Funkcionalno testiranje, Testiranje izdavanja sertifikata, Testiranje bezbednosti, Ispitivanje skalabilnosti, Puštanje u rad i demontaža ispitivanja čvorova podataka, , Ispitivanje oslobađanja

Uloge i odgovornosti Hadoop Testing Professionala

Razumevanje zahteva, pripremu procene testiranja, testnih podataka, testnih podataka, kreiranja test kreveta, izvršenja testova, izveštavanja o greškama, oporavku defekta, isporuke dnevnog statusa, završetka testa, ETL testiranja u svakoj fazi (HDFS, HIVE, HBASE) dok učitavanje unosa (evidencije / datoteke / zapisi itd.) pomoću sqoop / plume koji uključuje, ali ne ograničava se na verifikaciju podataka, pomirenje, autorizaciju i testiranje autentičnosti (grupe, korisnici, privilegije itd.), izveštaj o greškama u razvojnom timu ili menadžeru i vožnji zatvaranje, Konsolidovanje svih nedostataka i kreiranje izveštaja o greškama, Proveravanje nove funkcije i problema u Core Hadoop-u.

Okvir koji se zove MR jedinica za testiranje programa za smanjenje mapa

Prijavite kvarove razvojnom timu ili menadžeru i vodite ih na zatvaranje, Konsolidujte sve nedostatke i kreirajte izveštaje o grešci, Odgovorni za kreiranje testiranja Okvir pod nazivom MR Jedinica za testiranje programa Map-Reduce.

Testiranje jedinice

Testiranje automatizacije pomoću OOZIE-a, validacije podataka koristeći alat za upijanje upita.

Ispitivanje izvršenja

Plan testa za nadogradnju HDFS-a, Automatizacija testova i rezultat

Strategija test plana i pisanje testnih slučajeva za testiranje Hadoop aplikacije

Kako testirati instalaciju i konfigurirati

Podrška za posao i sertifikaciju

Cloudera savjete za sertifikaciju i vođenje i pripremanje intervjua, saveti i tehnike praktičnog razvoja

Molim vas, pišite nam info@itstechschool.com i kontaktirajte nas na + 91-9870480053 za cenu kursa i sertifikaciju, raspored i lokaciju

Baci nam upit

Ovaj trening kurs je dizajniran da vam pomogne da obrišete oba Cloudera Spark i Hadoop Developer Certification (CCA175) ispita i Cloudera sertifikovani administrator za Apache Hadoop (CCAH) ispit. Cjelokupan sadržaj kursa je u skladu sa ovim dvema programima sertifikacije i pomaže vam da ispunimo ove sertifikacijske ispite sa lakoćom i dobijete najbolje poslove u najvišim MNC-ima.

Kao deo ove obuke radićete na projektima i zadacima u realnom vremenu koji imaju ogromne implikacije u scenariju realnog sveta i time pomažu da brzo pratite svoju karijeru bez napora.

Na kraju ovog programa obuke će biti kvizova koji savršeno odražavaju tip pitanja postavljenih na odgovarajućim sertifikacionim ispitima i pomažu vam da postignete bolje ocene na sertifikacionom ispitu.

Sertifikat o završetku ITS kursa biće nagrađeni nakon završetka radova na projektu (na stručnom pregledu) i nakon ocenjivanja najmanje 60% znakova u kvizu. Sertifikacija Intellipaat-a je prepoznata u najboljim 80 + MNC-ima kao što su Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware itd.

Za više informacija ljubazno Kontaktirajte nas


Recenzije