tipsClassroom apmācība
REGISTER

Sazinies ar mums

Lauki, kas atzīmēti ar * ir vajadzīgi

 

lieli dati hadoop sertifikācijas kurss

Big Data Hadoop sertifikācijas kurss un apmācība

Pārskats

Auditorija un priekšnoteikumi

Kursa plāns

Grafiks un maksa

sertifikācija

Big Data Hadoop sertifikācijas kursu pārskats

Tas ir visaptverošs Hadoop Big Data apmācību kurss, ko izstrādājuši nozares eksperti, ņemot vērā pašreizējās nozares prasības attiecībā uz darbu, lai sniegtu padziļinātu izpratni par lieliem datiem un Hadoop moduļiem. Šis ir nozares atzīts Big Data sertifikācijas mācību kurss, kas ir Hadoop izstrādātāja, Hadoop administratora, Hadoop testēšanas un analīzes mācību kursu kombinācija. Tas Cloudera Hadoop apmācības sagatavos jums, lai notīrītu lielu datu sertifikāciju.

Mērķi

  • Izveidojiet Hadoop 2.7 un YARN pamatprincipus un rakstīt lietojumprogrammas, izmantojot tos
  • Pseido mezgla un daudznozaru klastera iestatīšana Amazon EC2
  • Master HDFS, MapReduce, Stīvs, Cūka, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Uzziniet Spark, Spark RDD, Graphx, MLlib rakstot Spark pieteikumus
  • Master Hadoop administrēšanas darbības, piemēram, klasteru pārvaldība, uzraudzība, administrēšana un traucējummeklēšana
  • ETL rīku, piemēram, Pentaho / Talend, konfigurēšana, lai strādātu ar MapReduce, Stīvs, Cūka utt
  • Detalizēta Big Data analytics izpratne
  • Hadoop testēšanas lietojumprogrammas, izmantojot MR Unit un citus automatizācijas rīkus.
  • Darbs ar Avro datu formātiem
  • Praksē reālos projektus, izmantojot Hadoop un Apache Spark
  • Jābūt aprīkoti, lai notīrītu Big Data Hadoop Sertifikāciju.

Paredzētā auditorija

  • Programmēšanas izstrādātāji un sistēmu administratori
  • Pieredzējuši darba speciālisti, projektu vadītāji
  • Big DataHadoop izstrādātāji vēlas iemācīties citus vertikālus veidus, piemēram, Testēšana, Analytics, administrēšana
  • Mainframe profesionāļi, arhitekti un testēšanas speciālisti
  • Biznesa inteliģence, datu glabāšana un Analytics speciālisti
  • Absolventi, bakalaura studenti, kas vēlas apgūt jaunāko Big Data tehnoloģiju, var izmantot šo Big Data Hadoop Sertifikācijas tiešsaistes apmācību

Priekšzināšanas

  • Nav nepieciešamības izmantot šo lielo datu apmācību un apgūt Hadoop. Bet UNIX, SQL un javas pamati būtu labi. Intellipate, mēs piedāvājam bezmaksas unix un Java kursu ar mūsu Big Data sertifikācijas apmācību, lai izveidotu vajadzīgās prasmes, lai jums būtu labi ar jums Hadoop mācību ceļš.

Apraksta ilgums: 2 dienas

Ievads Big Data & Hadoop un tās ekosistēmā, kartes samazināšana un HDFS

Kas ir Big Data, kur Hadoop ietilpst, Hadoop izplatītā failu sistēma - replikācijas, bloka izmērs, sekundārais nosaukuma kods, augsta pieejamība, izpratne par YARN - ResourceManager, NodeManager, atšķirība starp 1.x un 2.x

Hadoop uzstādīšana un uzstādīšana

Hadoop 2.x klasteru arhitektūra, federācija un augsta pieejamība, tipiska ražošanas klastera iestatīšana, Hadoop klasteru režīmi, kopējās Hadoop Shell komandas, Hadoop 2.x konfigurācijas faili, Cloudera vienoto mezglu kopums

Deep Dive Mapreduce

Kā darbojas Mapreduce, Kā Reducer darbojas, How Driver darbojas, Combiners, Partitioners, Ievades formāti, Izvades formāti, Shuffle un Kārtot, Mapside pievienojas, Samazināt sānu savieno, MRUnit, Distributed Cache

Lab vingrinājumi:

Darbs ar HDFS, Writing WordCount programma, Writing pielāgotus partitioner, Mapreduce ar Combiner, Map Side Join, Samazināt sānu savienojumi, Unit Testing Mapreduce, Running Mapreduce LocalJobRunner režīmā

Grafikas problēmu risināšana

Kas ir diagramma, grafu attēlojums, pirmā platuma meklēšanas algoritms, kartes attēlojuma grafīta samazināšana, diagrammas algoritma veikšana, diagrammas kartes samazināšanas piemērs,

    1 vingrojums: 2 treniņš: 3 treniņš:

Detalizēta Cūka izpratne

A. Ievads cūkā

Izpratne par Apache Pig, iezīmēm, dažādiem lietojumiem un mācīšanos sadarboties ar Pig

B. Cūku ieviešana datu analīzei

Citas latīņu valodas sintakse, dažādas definīcijas, datu kārtošana un filtrēšana, datu tipi, cūku lietošana ETL, datu ielāde, shēmu skatīšana, lauka definīcijas, parasti lietotās funkcijas.

C. Cūka kompleksai datu apstrādei

Dažādi datu tipi, ieskaitot ligzdotus un sarežģītus, apstrādes datus ar Pig, grupētu datu iterāciju, praktisko nodarbību

D. Veikt vairāku datu kopas operācijas

Datu kopu savienošana, datu kopas sadalīšana, dažādas datu kopas kombinēšanas metodes, iestatītās darbības, praktiskās nodarbības

E. Cūces pagarināšana

Izpratne par lietotāja definētām funkcijām, datu apstrādes veikšana ar citām valodām, importēšana un makro, straumēšanas un UDF izmantošana cūku paplašināšanai, praktiskie vingrinājumi

F. Cūku darbs

Darbs ar reālām datu kopām, kurās piedalījās Walmart un Electronic Arts kā gadījumu izpēte

Detalizēta izpratne par Stīvu

A. Stropu ievads

Izpratne par Hive, tradicionālo datubāzu salīdzināšanu ar Stīvu, Cūku un Stīvu salīdzinājumu, datu glabāšanu Stīvu un Hive shēmā, Hive mijiedarbību un dažādus Stīvu lietošanas gadījumus

B. Stropu relāciju datu analīzei

Izpratne par HiveQL, pamata sintakse, dažādām tabulām un datubāzēm, datu tipiem, datu kopu savienošanai, dažādām iebūvētām funkcijām, Hive uzdevumu izvietošana skriptos, apvalkā un nokrāsā.

C. Datu pārvaldība ar Stīvu

Dažādas datu bāzes, datu bāzu izveide, datu formāti Hive, datu modelēšana, Stīvu pārvaldītās tabulas, pašpārvaldītās tabulas, datu ielāde, datu bāzu un tabulu mainīšana, vaicājumu vienkāršošana ar skatījumiem, rezultātu saglabāšana, datu piekļuves kontrole, datu pārvaldība ar Stīvu, Hive Metastore un Thrift serveri.

D. Stropu optimizācija

Vaicājuma veiktspējas veikšana, datu indeksēšana, nodalīšana un pārslodze

E. Stīvu pagarināšana

Izvieto lietotāja definētās funkcijas, lai paplašinātu stropu

F. Hands on Exercises - strādājot ar lielām datu kopām un plašām vaicājumiem

Novirzīt stropu par milzīgu datu kopu apjomu un lielu pieprasījumu apjomu

G. UDF, vaicājuma optimizācija

Plaši strādājot ar lietotāja definētiem vaicājumiem, mācot, kā optimizēt vaicājumus, dažādas metodes, lai veiktu veiktspējas noteikšanu.

Impala

A. Ievads Impala

Kas ir Impala ?, Kā Impala atšķiras no Stīviem un Cūkām, Kā Impala atšķiras no Relāciju datu bāzēm, Ierobežojumi un nākotnes virzieni, izmantojot Impala Shell

B. Izvēloties labāko (Stīvs, Cūka, Impala)

C. Datu modelēšana un pārvaldīšana ar Impala un stropu

Datu glabāšanas pārskats, datu bāzu un tabulu izveide, datu ielāde tabulās, HCatalog, impala metadatu kešošana

D. datu sadalīšana

Sadalīšanās pārskats, sadalīšana Impala un Stīvā

(AVRO) datu formāti

Faila formāta izvēle, rīka atbalsts failu formātiem, Avro shēmas, Avro ar stīviem un Sqoop izmantošana, Avro shēmas evolūcija, kompresija

Ievads Hbase arhitektūrā

Kas ir Hbase, kur tas atbilst, Kas ir NOSQL

Apache Spark

A. Kāpēc spark? Darbs ar Spark un Hadoop sadalīto failu sistēmu

Kas ir dzirksteles, salīdzinājums starp Spark un Hadoop, dzirksteles sastāvdaļas

B. Aizsardzības komponenti, kopīgie dzirksteļu algoritmi-iteratīvie algoritmi, grafu analīze, mašīnmācība

Apache Spark-Ievads, konsekvence, pieejamība, sadalīšana, vienota skursteņa dzirksteles, dzirksteļaizdedzes komponenti, skalošanas piemērs, mahout, vētra, grafika

C. Darbojas dzirksti uz klastera, rakstīšanas spark Pieteikumi, izmantojot Python, Java, Scala

Paskaidrojiet par python piemēru, parāda dzirksteles uzstādīšanu, paskaidrojiet draivera programmu, izskaidrojiet dzirksteļošanas kontekstu, piem., Definējiet vājš ievadīto mainīgo, apvienojiet scala un java vienlaidus, izskaidrojiet paralēlumu un izplatīšanu. Paskaidrojiet, kas ir pazīme, izskaidrojiet augstākas kārtas funkciju ar piemēru, Definējiet CFS plānotājs, dzirksteles priekšrocības, Lamda piemērs, izmantojot dzirksteles, paskaidrojiet, kā samazināt ar piemēru

Hadoop Cluster Setup un Running Map samazināt darbavietas

Multi Node Cluster Setup, izmantojot Amazon ec2 - izveidojot 4 mezglu kopu iestatīšanu, Running Map samazināt darbus klasterī

Lielais projekts - visu to apvienošana un pievienošana

Visu to apvienošana un pieslēgšanās punkti, darbs ar lielu datu kopu, soļi, kas saistīti ar lielu datu analīzi

ETL savienojamība ar Hadoop ekosistēmu

Kā ETL rīki darbojas lielos datos Rūpniecība, pieslēgšanās HDFS no ETL rīka un datu pārvietošana no vietējās sistēmas uz HDFS, datu pārvietošana no DBVS uz HDFS, darbs ar stropu ar ETL rīku, kartes izveide darbavieta samazināšana ETL rīkā, nobeiguma beigas ETL PoC parādīts liels datu integrācija ar ETL rīku.

Klastera konfigurācija

Konfigurācijas pārskats un svarīgs konfigurācijas fails, konfigurācijas parametri un vērtības, HDFS parametri MapReduce parametri, Hadoop vides iestatīšana, konfigurācijas faili 'Iekļaut' un 'Izslēgt' Lab: MapReduce veiktspējas iestatīšana

Administrēšana un apkope

Namenode / Datanode direktoriju struktūras un faili, failu sistēmas attēls un rediģēšanas žurnāls, Checkpoint procedūra, Namenode kļūdas un atkopšanas procedūra, drošais režīms, metadatu un datu dublēšana, iespējamās problēmas un risinājumi / ko meklēt, mezglu pievienošana un noņemšana, Lab: MapReduce failu sistēmas atjaunošana

Uzraudzība un problēmu novēršana

Labākās prakses klastera uzraudzībā, izmantojot žurnālus un kaudžu pēdas, lai uzraudzītu un novērstu problēmas, Izmantojot atvērtā koda rīkus klastera uzraudzībai.

Darbu plānotājs: karte samazina darba iesniegšanas plūsmu

Kā plānot darbus tajā pašā klasterī, FIFO grafiks, godīgs plānotājs un tā konfigurācija

Multi Node Cluster Setup un Running Map samazināt darbavietas Amazon Ec2

Multi Node Cluster Setup, izmantojot Amazon ec2 - izveidojot 4 mezglu kopu iestatīšanu, Running Map samazināt darbus klasterī

ZOOKEEPER

ZOOKEEPER Ievads, ZOOKEEPER lietošanas gadījumi, ZOOKEEPER pakalpojumi, ZOOKEEPER datu modelis, Znodes un tā veidi, Znodes darbības, Znode pulksteņi, Znodes skan un raksta, konsekvences garantijas, klasteru vadība, Leader vēlēšanas, Distributed Exclusive Lock, svarīgākie punkti

Advance Oozie

Kāpēc Oozie ?, Instalēšana Oozie, Rādot piemēru, Oozie darbplūsmas dzinējs, Piemērs M / R darbībā, Word count example, Workflow pieteikums, Workflow iesniegšana, Workflow stāvokļa pārejas, Oozie darbu apstrāde, Oozie drošība, Kāpēc Oozie drošība ?, Darba iesniegšana , Daudzu īri un mērogojamība, Oozie darba laika koordinātors, Paketes, Abstrakcijas slāņi, Arhitektūra, Lieta Case 1: Laika trigeri, Izmanto lietu 2: datu un laika trigeri, Lietojiet lietu 3: lieko logu

Avansa Flume

Pārskats par Apache Flume, Fiziski izplatīts Datu avoti, Datu struktūras maiņa, Tuvākam izskats, Anatomija of Flume, Core jēdzieni, Pasākumi, Klienti, aģenti, Avots, Kanāli, izlietnes, uztvērēji, Kanālu selektors, Sink procesors, Datu norīšana, Aģentu cauruļvads , Transakciju datu apmaiņa, Maršrutizēšana un atkārtojums, Kāpēc kanāli ?, Izmantot lietu - Log aggregation, Flume aģenta pievienošana, Servera saimniecības apstrāde, Datu apjoms vienam aģentam. Piemēram, aprakstot vienas mezgla plūsmas izvietošanu.

Avanss HUE

HUE ievads, HUE ekosistēma, Kas ir HUE ?, HUE reālās pasaules skatījums, HUE priekšrocības, Kā augšupielādēt datus failu pārlūkā ?, Apskatīt saturu, Integrēt lietotājus, Integrēt HDFS, pamati HUE FRONTEND

Advance Impala

IMPALA kopsavilkums: mērķi, Impala lietotāju skatījums: pārskats par Impala lietotāju skatījumu: SQL, Impala lietotāju skatījums: Apache HBase, Impala arhitektūra, Impala valsts veikals, Impala kataloga pakalpojums, vaicājuma izpildes posmi, Impala līdz stropu salīdzināšana

Hadoop lietojumprogrammu pārbaude

Kāpēc testēšana ir svarīga? Vienības testēšana, integrācijas testēšana, veiktspējas testēšana, diagnostika, nakts QA tests, etalons un beigu un beigu testi, funkcionālā testēšana, atbrīvošana no sertificēšanas testēšanas, drošības pārbaude, mērogojamības pārbaude, nodošana ekspluatācijā un datu atdalīšanas testēšana, uzticamības pārbaude , Atlaižu pārbaude

Hadoop Testing Professional lomas un pienākumi

Izpratne par prasību, testēšanas novērtējuma sagatavošana, pārbaudes gadījumi, testa dati, testa gultas izveide, testa izpilde, defektu pārskati, defektu atkārtojums, ikdienas stāvokļa atskaites piegāde, testa pabeigšana, ETL testēšana katrā posmā (HDFS, HIVE, HBASE), kamēr iekrauj ievadi (žurnāli / faili / ieraksti utt.), izmantojot sqoop / flume, kas ietver, bet neaprobežojoties ar datu verifikāciju, saskaņošanu, lietotāja autorizāciju un autentifikācijas testēšanu (grupas, lietotāji, privilēģijas utt.), ziņo par attīstības komandas vai vadītāja defektiem un braukšanu tos slēgt, apvienot visus defektus un izveidot defektu ziņojumus, apstiprināt jaunu funkciju un problēmas Core Hadoop.

Sistēmu sauc par MR nodaļu, lai pārbaudītu karšu samazināšanas programmas

Ziņojiet par izstrādes komandas vai menedžmenta defektiem un bloķējiet tos slēgšanai. Apvienojiet visus defektus un izveidojiet pārskatus par defektiem. Atbild par testēšanas ietvara izveidošanu, sauktu MR vienību, lai pārbaudītu Map-Reduce programmas.

Vienības pārbaude

Automatizācijas testēšana, izmantojot OOZIE, datu validācija, izmantojot vaicājuma avārijas rīku.

Testa izpilde

Testa plāns HDFS jaunināšanai, Testa automatizācija un rezultāts

Testēšanas plāna stratēģija un rakstīšana Hadoop pieteikšanās testēšanas gadījumi

Kā testu instalēt un konfigurēt

Darba un sertifikācijas atbalsts

Cloudera sertifikācijas padomi un ieteikumi, kā arī intervijas sagatavošana, prakses izstrādes padomi un paņēmieni

Lūdzu, rakstiet mums pie info@itstechschool.com & sazinieties ar mums pie + 91-9870480053 par kursa cenu un sertifikācijas izmaksām, grafiku un atrašanās vietu

Drop Us Query

Šis mācību kurss ir paredzēts, lai palīdzētu jums iztīrīt abus Cloudera spark un Hadoop izstrādātāju sertifikāts (CCA175) eksāmens un Cloudera Certified Administrator Apache Hadoop (CCAH) eksāmens. Viss mācību materiālu saturs atbilst šīm divām sertifikācijas programmām un palīdz jums viegli iztīrīt šos sertifikācijas eksāmenus un iegūt labākos darbus top MNC.

Kā daļu no šīs apmācības jūs strādājat reālā laika projektos un uzdevumos, kuriem ir milzīga ietekme reālās pasaules nozares scenārijā, tādējādi palīdzot jums ātri pāriet uz savu karjeru.

Šīs apmācības programmas beigās būs viktorīnas, kas perfekti atspoguļos attiecīgo sertifikācijas eksāmenu jautājumu klāstu un palīdzēs jums iegūt labākas atzīmes sertifikācijas eksāmenā.

ITS kursa pabeigšanas sertifikāts tiks piešķirti, pabeidzot projekta darbu (par ekspertīzi) un novērtējot vismaz 60% atzīmes viktorīnā. Intellipate sertifikācija ir labi atzīta top 80 + MNC, piemēram, Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware uc

Lai iegūtu vairāk informācijas laipni Sazinieties ar mums.


atsauksmes