tyyppiLuokkahuoneen koulutus
REKISTERÖIDY

iso data hadoop sertifiointikurssi

Big Data Hadoop-sertifiointikurssi ja -koulutus

yleiskatsaus

Yleisö ja edellytykset

Opintojakson sisältö

Aikataulu ja palkkiot

Certification

Big Data Hadoop-sertifiointikurssien yleiskatsaus

Se on kattava Hadoop Big Data -kurssi, jonka alan asiantuntijat ovat suunnitelleet nykyisten työtehtävien vaatimusten pohjalta perusteellisen oppimisen antamiseksi suurista tiedoista ja Hadoop-moduuleista. Tämä on alan tunnustettu Big Data -sertifiointikurssi, joka on yhdistelmä Hadoop-kehittäjien, Hadoop-järjestelmänvalvojan, Hadoop-testauksen ja analyysin kursseja. Tämä Cloudera Hadoop-koulutus valmistaa sinut tyhjentämään suuret tietosertifikaatit.

Tavoitteet

  • Hadoop 2.7: n ja YARN: n perusrakenteet ja kirjoittaa sovelluksia niiden avulla
  • Pseudo-solmun ja Multi-solmuplastin käyttöönotto Amazon EC2: ssä
  • Master HDFS, MapReduce, Hive, Sika, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Opi Spark, Spark RDD, Graphx, MLlib kirjoitus Spark sovelluksia
  • Master Hadoop -hallintatoiminnot, kuten klusterin hallinta, seuranta, hallinto ja vianmääritys
  • ETL-työkalujen, kuten Pentaho / Talendin, määrittäminen MapReducen, Hiveen, Pigin jne. Kanssa
  • Yksityiskohtainen käsitys Big Data analyticsista
  • Hadoop-testaussovelluksia käyttäen MR-yksikköä ja muita automaatiotyökaluja.
  • Käytä Avro-tietomuotoja
  • Harjoittele todellisia projekteja käyttäen Hadoopia ja Apache Sparkia
  • Oltava varustettu tyhjentämään Big Data Hadoop-sertifikaatti.

Kohdeyleisö

  • Kehittäjien ja järjestelmänvalvojien ohjelmointi
  • Kokeneet työskentelevät ammattilaiset, projektipäälliköt
  • Big DataHadoop -kehittäjät haluavat oppia muita vertikaaleja, kuten Testing, Analytics, Administration
  • Mainframe-ammattilaiset, arkkitehdit ja testausammattilaiset
  • Business Intelligence, Data warehousing ja Analytics-ammattilaiset
  • Tutkinnon suorittaneet, opiskelijat, jotka haluavat oppia uusimman Big Data -tekniikan avulla, voivat ottaa tämän Big Data Hadoop Certification -verkkokoulutuksen

Edellytykset

  • Ei ole mitään ennakkoedellytystä tämän Big data -koulutuksen suorittamiseksi ja Hadoopin hallitsemiseksi. Mutta UNIX: n, SQL: n ja java: n perusteet olisivat hyviä. Intellipatille tarjoamme Unix- ja Java-kursseja Big Data-sertifiointikoulutuksemme kanssa tarvittavien taitojen harjoittelemiseksi niin, että olet hyvä Hadoop-oppimispolku.

Course Outline Duration: 2 Days

Johdatus Big Data & Hadoop ja sen ekosysteemi, Map Reduce ja HDFS

Mikä on Big Data, Missä Hadoop sopii, Hadoop Distributed File System - Replikoinnit, Block Size, Secondary Namenode, High Availability, Understanding YARN - ResourceManager, NodeManager, Ero 1.x ja 2.x

Hadoop Asennus ja asennus

Hadoop 2.x Cluster-arkkitehtuuri, liittymä ja korkea saatavuus, Tyypillinen tuotantoklusteriasetus, Hadoop-klusteritoiminnot, Yleiset Hadoop Shell -komennot, Hadoop 2.x -määritystiedostot, Cloudera Single-solmuklusteri

Syvä sukellus Mapreducessa

Miten Mapreduce toimii, kuinka Reducer toimii, miten ohjain toimii, yhdistimet, osiointilaitteet, tulomuodot, tulostusmuodot, satunnaistoisto ja lajittelu, Mapside-liitokset, pienennä sivuosuuksia, MRUnit, hajautettu välimuisti

Lab harjoitukset:

Työskentely HDFS: n kanssa, WordCount-ohjelmiston kirjoittaminen, mukautetun partitionerin kirjoittaminen, Mapreduce yhdistelmällä, Map Side -liitäntä, pienennä sivuosuuksia, yksikkötestaus Mapreduce, Mapreduce-toiminto käynnissä LocalJobRunner-tilassa

Graafinen ongelmanratkaisu

Mikä on kaavio, kaavioesitys, leveys ensimmäinen haun algoritmi, kaavion esitysmuodot karttakuvannolla, graafisen algoritmin tekeminen, esimerkki kuvion karttavähennyksestä,

    Harjoittelu 1: Harjoittelu 2: Harjoitus 3:

Pigin yksityiskohtainen ymmärtäminen

A. Johdanto porsaalle

Apache Pig: n ymmärtäminen, ominaisuudet, erilaiset käyttötavat ja oppiminen vuorovaikutuksessa Sian kanssa

B. Sian käyttöönotto tietojen analysoimiseksi

Pig Latinan syntaksi, erilaiset määritelmät, datan lajittelu ja suodatus, tietotyypit, sianlihan käyttöönotto ETL: lle, datan lataus, kaava-esitys, kenttämääritykset, yleisesti käytetyt tehtävät.

C. Sika monimutkaiselle tietojenkäsittelylle

Erilaiset tietotyypit, mukaan lukien sisäkkäiset ja monimutkaiset, Pig-tietojen käsittelytiedot, ryhmitetyn datan iterointi, käytännön harjoittelu

D. Performing multi-dataset operations

Datasarjan liittyminen, tiedon jakamisen jakaminen, erilaiset datan yhdistämismenetelmät, asetusten tekeminen, käytännön harjoittelu

E. Sian laajentaminen

Käyttäjätoimintojen ymmärtäminen, tietojenkäsittely muiden kielten, tuonnin ja makrojen avulla, suoratoisto- ja UDF-tiedostojen avulla Sian laajentaminen, käytännön harjoitukset

F. Sika työpaikat

Walmartin ja Electronic Arts -tapahtumiin liittyvien reaalisten tietojoukkojen käsitteleminen tapaustutkimuksena

Yksityiskohtainen käsitys lihasta

A. Hive Johdanto

Understanding Hive, perinteinen tietokannan vertailu Hive, Sika ja Hive vertailu, tallentaminen tiedot Hive ja Hive kaava, Hive vuorovaikutus ja eri käyttötapaukset Hive

B. Hive relaatiotietojen analyysiin

HiveQL: n, perussyntaksin, erilaisten taulukoiden ja tietokantojen, tietotyyppien, datajoukon liittämisen, erilaisten sisäänrakennettujen toimintojen ymmärtäminen, Hive-kyselyjen käyttäminen komentosarjoissa, Shell ja Hue.

C. Tietojen hallinta Hive: llä

Eri tietokannat, tietokantojen luominen, tietomuodot Hive, tietomallinnus, Hive-hallittujen taulukoiden, itsehallinnollisten taulukoiden, tietojen lataamisen, tietokantojen ja taulukoiden muuttaminen, kyselyn yksinkertaistaminen näkymillä, kyselyjen tulosten tallennus, tiedonsiirron valvonta, tietojen hallinta Hive, Hive Metastore ja Thrift-palvelin.

D. Hive-optimointi

Kyselyn, datan indeksoinnin, osioinnin ja bucketingin oppimisen suorituskyky

E. Hive laajentaminen

Käyttämällä määritettyjä toimintoja Hive laajentamiseksi

F. Harjoituksia käsittelevät kädet - työskentelee suurien tietojoukkojen kanssa ja laaja kysely

Hive sijoitetaan valtava määrä tietueita ja suuria määriä kysely

G. UDF, kyselyn optimointi

Työskentely laajasti käyttäjän määrittämillä kyselyillä, oppimisen optimointi, erilaiset menetelmät suorituskyvyn säätämiseksi.

Impala

A. Impalan esittely

Mikä Impala ?, Miten Impala eroaa kasveista ja siankasvista, miten Impala eroaa relaatiotietokannoista, rajoituksista ja tulevista ajoista, Impala Shellillä

B. Paras valinta (Hive, Sika, Impala)

C. Mallintaminen ja tietojen hallinta Impala ja Hive

Tietojen tallentamisen yleiskatsaus, tietokantojen ja taulukoiden luominen, tietojen tallentaminen taulukoihin, HCatalog, Impala Metadata Caching

D. Tietojen jako

Partitioning Overview, osiointi Impalassa ja Hive

(AVRO) datamuodot

Tiedostomuodon valitseminen, Tiedostomuotojen työkalujen tuki, Avro-kaaviot, Avro-järjestelmän käyttäminen Hive ja Sqoop, Avro Schema Evolution, Pakkaus

Johdatus Hbase-arkkitehtuuriin

Mikä on Hbase, missä se sopii, mikä on NOSQL

Apache Spark

A. Miksi kipinä? Työskentely Spark- ja Hadoop-hajautetun tiedostojärjestelmän kanssa

Mikä on Spark, vertailu Sparkin ja Hadoopin, Sparkin komponenttien välillä

B. Spark-komponentit, Common Spark-algoritmit - Iteratiiviset algoritmit, Graph Analysis, Machine Learning

Apache Spark-Johdanto, yhtenäisyys, saatavuus, osio, Unified Stack Spark, Spark Components, Scalding esimerkki, mahout, myrsky, kaavio

C. Kynttilän käyttäminen klusterissa, kirjoittaminen kipinäsuunnitelmia käyttäen Python, Java, Scala

Selitä python-esimerkki, näytä kipin asentaminen, selitä ohjainohjelma, selvitä kipinä konteksti esimerkkinä, määritä heikosti kirjoitettu muuttuja, yhdistä asteittain ja java saumattomasti, selitä samanaikaisuus ja jakelu. Selitä, mikä on piirre, selitä korkeamman luokan funktio esimerkkinä, määritä OFI aikatauluttaja, kipin edut, esimerkki Lamdasta kipinän avulla, esitä Mapreducen esimerkki

Hadoop Clusterin asetukset ja käynnissä oleva kartta vähentävät työpaikkoja

Multi Node Cluster -asetukset käyttäen Amazon ec2 - 4-solmuplusterin luominen, käynnissä oleva kartta vähentää työtuloja klusterissa

Major projekti - Kokoaminen ja yhdistäminen

Kokoaminen yhteen ja Liitäntäpisteet, Työskentely suurilla tietojoukkoilla, Suurten tietojen analysointi

ETL-yhteys Hadoop Ecosystemiin

Miten ETL-työkalut toimivat Big Data -teollisuudessa, Linkittäminen HDFS: ään ETL-työkalusta ja siirtämällä tietoja paikallisjärjestelmästä HDFS: ään, Siirrä dataa DBMS: stä HDFS: ään, Työnnä pesää ETL-työkalulla, Luo kartta Piirtotyö ETL-työkalussa, End to End ETL PoC, joka näyttää suurta tietojenkäsittelyä ETL-työkalulla.

Klusterikonfiguraatio

Konfiguroinnin yleiskatsaus ja tärkeä konfigurointitiedosto, määritysparametrit ja arvot, HDFS-parametrit MapReduce-parametrit, Hadoop-ympäristöasetukset, Sisällytävät ja Sulje -asetustiedostot, Lab: MapReduce Performance Tuning

Hallinta ja ylläpito

Namenode / Datanode -hakemistorakenteet ja -tiedostot, Tiedostojärjestelmän kuva ja Muokkauspäiväkirja, Checkpoint-menettely, Namenode-vianmääritys ja palauttamismenetelmä, Vikasietotila, Metatiedot ja tietojen varmuuskopiointi, Mahdolliset ongelmat ja ratkaisut / mitä etsitään, Solmujen lisääminen ja poistaminen, Lab: MapReduce-tiedostojärjestelmän palautus

Seuranta ja vianmääritys

Klusterin valvonnan parhaat käytännöt, lokien ja pinojen jäljittäminen seurantaan ja vianmääritykseen, avoimen lähdekoodin työkalujen käyttäminen klusterin valvontaan

Job Scheduler: Kartta vähentää työn lähettämistä

Kuinka ajoittaa Jobs samassa klusterissa, FIFO Schedule, Fair Scheduler ja sen kokoonpano

Multi Node Clusterin asetukset ja käynnissä oleva kartta vähentävät työpaikkoja Amazon Ec2: ssä

Multi Node Cluster -asetukset käyttäen Amazon ec2 - 4-solmuplusterin luominen, käynnissä oleva kartta vähentää työtuloja klusterissa

Zookeeper

ZOOKEEPER-esittely, ZOOKEEPER-käyttötapaukset, ZOOKEEPER-palvelut, ZOOKEEPER-tietomalli, Znodes ja sen lajit, Znodes-toiminnot, Znodes-kellot, Znodes lukee ja kirjoittaa, Johdonmukaisuusvakuudet, Klusterinhallinta,

Advance Oozie

Miksi Oozie ?, Oozien asentaminen, esimerkin suorittaminen, Oozie-työnkulku moottori, Esimerkki M / R -toiminto, Sananlaskentaesimerkki, Workflow-sovellus, työnkulun lähettäminen, työnkulun tilasiirtymät, Oozie-työnkulku, Oozie-turvallisuus, Miksi Oozie-turvallisuus? , Usean vuokrauksen ja skaalautuvuuden, Oozie-työn aikajana, Koordinaattori, Bundle, Abstraktien tasot, Arkkitehtuuri, Käytä Case 1: aika-laukaisee, Käytä Case 2: data- ja aikaleleet, Käytä Case 3: Rolling Window

Advance Flume

Yleiskatsaus Apache Flume, Fyysisesti hajautetut tietolähteet, Data rakenteen muutos, Lähempänä ilmiöt, Flume-anatomia, Peruskäsitteet, Tapahtuma, Asiakkaat, Agents, Lähdekoodit, Kanavat, Uimapisteet, Interceptors, Channel Selector, Synkronointiprosessori, Data ingest, Agent pipeline , Tapahtumatietojen vaihto, reititys ja replikointi, miksi kanavat ?, käytä case-login yhdistämistä, lisäämällä flume-agenttiä, palvelinlaitoksen käsittelyä, tietomäärää edustajaa kohden, esimerkki yksittäisen solmupuhalluksen käyttöönotosta

Advance HUE

HUE-esittely, HUE-ekosysteemi, Mikä on HUE ?, HUE: n reaalimaailma, HUEn edut, Tiedostojen lataaminen tiedostoselaimessa ?, Tarkastele sisältöä, Käyttäjien integrointi, HDFS: n integrointi, HUE FRONTENDin perusteet

Advance Impala

IMPALA-yleiskatsaus: Tavoitteet, Impala-käyttäjän näkymä: Yleiskatsaus, Impalan käyttötarkoitus: SQL, Impala-käyttäjän näkymä: Apache HBase, Impala-arkkitehtuuri, Impalan tila-myymälä, Impala-luettelopalvelu, Kyselyn toteutusvaiheet, Impalan vertaaminen Hiveen

Hadoop-sovellustestaus

Miksi testaus on tärkeää, yksikkötestaus, integrointitestaus, suorituskyvyn testaus, diagnostiikka, yökerroin QA-testi, vertailu ja lopputestit, toiminnallinen testaus, julkaisuvarmennustestaus, tietoturva-testaus, skaalautuvuustestit, datasolmujen testaus, luotettavuuden testaus , Vapautuksen testaus

Roolien ja vastuiden Hadoop Testing Professional

Testausarviointi, testausolosuhteet, testitiedot, testaustason luominen, testauksen suorittaminen, vian raportointi, viatarkastelu, päivittäisen tilan raporttitoimitus, testauksen loppuun saattaminen, ETL-testaus kaikissa vaiheissa (HDFS, HIVE, HBASE), kun taas syöttää syötteen (lokit / tiedostot / tietueet jne.) käyttämällä sqoop / flumea, joka sisältää, mutta ei rajoittuen, datan tarkistamisen, sovinnon, käyttäjän valtuutuksen ja todentamisen testauksen (ryhmät, käyttäjät, etuoikeudet jne.), raportoida virheet kehitystiimiin tai ohjaimeen ja ajoon sulkemalla ne, yhdistämällä kaikki virheet ja luomalla vikaraportit, tarkistamalla uuden ominaisuuden ja ongelmat Core Hadoopissa.

Kehys, jota kutsutaan MR-yksiköksi kartanvähennysohjelmien testaamiseksi

Ilmoita virheistä kehitystiimiin tai -ohjaajaan ja aja heitä sulkemiseen, Vahvista kaikki virheet ja luo vikaraportit, vastaa testauskehyksen luomisesta MR yksikön avulla Map-Reduce -ohjelmien testaamiseen.

Yksikkötestaus

Automaatiotestaus käyttäen OOZIE: tä, Tietojen validointi kyselyvirran työkalulla.

Testauksen suorittaminen

HDFS-päivityksen testaussuunnitelma, testausautomaatio ja tulos

Testisuunnitelman strategia ja kirjoitus Testattavat tapaukset testaus Hadoop Application

Kuinka testata asennusta ja konfiguroida

Työ- ja sertifiointituki

Cloudera-sertifiointivihjeitä ja ohjausta ja pilkkua haastatteluvalmisteluja, käytännön kehitysvinkkejä ja -tekniikoita

Kirjoita meille osoitteessa info@itstechschool.com ja ota yhteyttä osoitteeseen + 91-9870480053 kurssin hinnasta ja sertifiointikustannuksista, aikataulusta ja sijainnista

Anna meille kysymys

Tämä kurssi on suunniteltu auttamaan sinua selkeämmin Cloudera Spark ja Hadoop Developer Certification (CCA175) tentti ja Cloudera Certified Administrator Apache Hadoopille (CCAH) koe. Koko kurssin sisältö on näiden kahden sertifiointiohjelman mukaista ja auttaa sinua purkamaan sertifiointitutkinnot helposti ja hankkimaan parhaita työpaikkoja huipputason monitoimilaitoksissa.

Osana tätä koulutusta sinä työskentelet reaaliaikaisissa projekteissa ja tehtävissä, joilla on valtavia vaikutuksia reaalitalouden skenaarioon, mikä auttaa sinua nopeuttamaan urasi vaivattomasti.

Tämän koulutusohjelman lopussa on tietokilpailuja, jotka vastaavat täydellisesti vastaaviin sertifiointikokeisiin sisältyviä kysymyksiä ja auttavat sinua parempien merkkien saamiseen sertifiointitutkinnassa.

ITS-kurssin suoritustodistus myönnetään projektityöhön (asiantuntijalausuntoon) ja pisteytyksen jälkeen vähintään 60% -merkillä. Intellipaat-sertifikaatti on tunnustettu parhaimmilla 80 + MNC: issä, kuten Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware jne.

Lisätietoja ystävällisesti Ota meihin yhteyttä.


Arvostelut