mathHyfforddiant Dosbarth
COFRESTR

cwrs ardystio maw mawr data

Cwrs a Hyfforddiant Ardystio Hadoop Data Mawr

Trosolwg

Cynulleidfa a Rhagofynion

Amlinelliad o'r Cwrs

Atodlen a Ffioedd

ardystio

Trosolwg o'r Cwrs Ardystio Hadoop Data Mawr

Mae'n gwrs hyfforddi Data Mawr Hadoop cynhwysfawr a gynlluniwyd gan arbenigwyr y diwydiant sy'n ystyried gofynion swyddi diwydiant cyfredol i ddarparu dysgu manwl ar ddata mawr a Modiwlau Hadoop. Cwrs hyfforddi ardystio Data Mawr Data a gydnabyddir gan y diwydiant yw hwn sy'n gyfuniad o'r cyrsiau hyfforddi yn natblygiad Hadoop, gweinyddwr Hadoop, profion Hadoop a dadansoddiadau. Mae hyn Cloudera Bydd hyfforddiant Hadoop yn eich paratoi i glirio ardystiad data mawr.

Amcanion

  • Hanfodion meistr Hadoop 2.7 a YARN ac ysgrifennu ceisiadau sy'n eu defnyddio
  • Sefydlu nodyn ffug a chlwstwr aml-nod ar Amazon EC2
  • Meistr HDFS, MapReduce, Hive, Moch, Oozie, Sgwâr, Flume, Zookeeper, HBase
  • Dysgu Spark, Spark RDD, Graphx, MLlib yn ysgrifennu ceisiadau Spark
  • Gweithgareddau gweinyddu Meistr Hadoop fel rheoli clwstwr, monitro, gweinyddu a datrys problemau
  • Trefnu offer ETL fel Pentaho / Talend i weithio gyda MapReduce, Hive, Moch, ac ati
  • Dealltwriaeth fanwl o ddadansoddiadau Data Mawr
  • Ceisiadau profion Hadoop gan ddefnyddio MR Uned ac offer awtomeiddio eraill.
  • Gweithio gyda fformatau data Avro
  • Ymarferwch brosiectau bywyd go iawn gan ddefnyddio Hadoop ac Apache Spark
  • Byddwch yn barod i glirio Ardystiad Hadoop Data Mawr.

Cynulleidfa Fwriedir

  • Datblygwyr Rhaglenni a Gweinyddwyr Systemau
  • Gweithwyr proffesiynol profiadol, rheolwyr prosiect
  • Datblygwyr DataHadoop Mawr yn awyddus i ddysgu fertigol eraill fel Profi, Dadansoddi, Gweinyddu
  • Proffesiynwyr Mainframe, Penseiri a Phrofi Proffesiynol
  • Cudd-wybodaeth Busnes, Warysau Data a Gweithwyr Proffesiynol Dadansoddol
  • Gall graddedigion, israddedigion sy'n awyddus i ddysgu'r dechnoleg Ddata Fawr diweddaraf gymryd y hyfforddiant Ardystio Hadoop Data Mawr hwn ar-lein

Rhagofynion

  • Nid oes unrhyw ragofyniad i gymryd y hyfforddiant data Mawr hwn ac i feistroli Hadoop. Ond byddai pethau sylfaenol UNIX, SQL a java yn good.At Intellipaat, rydym yn darparu cwrs unix a Java ategol gyda'n hyfforddiant ardystio Big Data i brushio'r sgiliau angenrheidiol er mwyn i chi fod yn dda ar eich llwybr dysgu Hadoop.

Course Outline Duration: 2 Days

Cyflwyniad i Big Data a Hadoop a'i Ecosystem, Map Lleihau a HDFS

Beth yw Data Mawr, Ble mae Hadoop yn ffitio, System Ffeil Ddosbarthu Hadoop - Dyblygu, Bloc Maint, Namenode Uwchradd, Argaeledd Uchel, Deall YARN - ResourceManager, NodeManager, Gwahaniaeth rhwng 1.x a 2.x

Gosod a gosod Hadoop

Hadoop 2.x Clwstwr Pensaernïaeth, Ffederasiwn ac Argaeledd Uchel, Sefydliad Clwstwr Cynhyrchu nodweddiadol, Modiwlau Clwstwr Hadoop, Rheolau Cyffredin Hadoop Shell, Hadoop 2.x Ffeiliau Cyfluniad, Clwstwr Clwstwr Sengl Cloudera

Deep Dive yn Mapreduce

Sut mae Mapreduce yn gweithio, Sut mae Gostwng yn gweithio, Sut mae Driver yn gweithio, Combiners, Partitioners, Fformatau Mewnbwn, Fformatau Allbwn, Cludo a Threfnu, Ymuno â Mapiau, Lleihau Ymuniadau Ochr, MRUnit, Cache Dosbarthu

Ymarferion Lab:

Gweithio gyda HDFS, Ysgrifennu Rhaglen WordCount, Ysgrifennu rhaniadwr arferol, Mapreduce gyda Combiner, Ymyl Map Ymunwch, Lleihau Ymunwyr Ochr, Mapio Perfformiad Uned, Rhedeg Mapredu yn Modd LleolJobRunnwr

Datrys Problemau Graff

Beth yw Graff, Cynrychiolaeth Graff, Algorithm Chwilio cyntaf, Cynrychiolaeth Graff o'r Map Lleihau, Sut i wneud Algorithm Graff, Enghraifft o Map Graff Lleihau,

    Ymarfer 1: Ymarfer 2: Ymarfer 3:

Dealltwriaeth fanwl o borch

A. Cyflwyniad i Mochyn

Deall Moch Apache, y nodweddion, gwahanol ddefnyddiau a dysgu i ryngweithio â Mochyn

B. Defnyddio Moch ar gyfer dadansoddi data

Cystrawen Pig Lladin, y gwahanol ddiffiniadau, data dosbarthu a hidlo, mathau o ddata, defnyddio Moch ar gyfer ETL, llwytho data, gwylio sgema, diffiniadau maes, swyddogaethau a ddefnyddir yn gyffredin.

C. Moch ar gyfer prosesu data cymhleth

Mathau amrywiol o ddata gan gynnwys data prosesu nythu a chymhleth gyda Moch, ailadrodd data wedi'i grwpio, ymarfer ymarferol

D. Performing multi-dataset operations

Ymuno setiau data, rhannu gwahanu data, gwahanol ddulliau ar gyfer gosod data cyfuno, gweithrediadau gosod, ymarfer ymarferol

E. Ymestyn Mochyn

Deall swyddogaethau a ddiffiniwyd gan ddefnyddwyr, gan berfformio prosesu data gydag ieithoedd eraill, mewnforion a macros, gan ddefnyddio ffrydio a UDF i ymestyn ymarferion Moch, ymarferion

F. Swyddi Pig

Gweithio gyda setiau data go iawn yn cynnwys Walmart ac Electronic Arts fel astudiaeth achos

Dealltwriaeth fanwl o Hive

Cyflwyniad A. Hive

Deall Hive, cymhariaeth cronfa ddata draddodiadol gyda chymhariaeth Hive, Moch a Hive, storio data yn sgîl Hive and Hive, Rhyngweithio Hive a gwahanol achosion o Hive

B. Hive ar gyfer dadansoddi data perthynol

Deall HiveQL, cystrawen sylfaenol, y gwahanol fyrddau a chronfeydd data, mathau o ddata, ymuno â set ddata, gwahanol swyddogaethau adeiledig, gan ddefnyddio ymholiadau Hive ar sgriptiau, cragen a hue.

C. Rheoli data gyda Hive

Y gwahanol gronfeydd data, creu cronfeydd data, fformatau data yn Hive, modelu data, Tablau a reolir gan Hive, Tablau hunan-reolaeth, llwytho data, cronfeydd data newidiol a Thablau, symleiddio ymholiad â Barn, canlyniad i gadw ymholiadau, rheoli mynediad data, rheoli data gyda gweinydd Hive, Hive Metastore a Thrift.

D. Optimization Hive

Perfformiad dysgu ymholiad, mynegeio data, rhannu a bwcedio

E. Ymestyn Hive

Defnyddio swyddogaethau a ddiffiniwyd gan ddefnyddwyr ar gyfer ymestyn Hive

F. Ymarferion Llaw - gan weithio gyda setiau data mawr ac ymholi'n helaeth

Defnyddio Hive ar gyfer cyfrolau enfawr o setiau data a symiau mawr o ymholi

G. UDF, optimization ymholiad

Gweithio'n helaeth gydag Ymholiadau Diffiniedig i Ddysgwyr, gan ddysgu sut i wneud y gorau o ymholiadau, gwahanol ddulliau i wneud twnio perfformiad.

Impala

A. Cyflwyniad i Impala

Beth yw Impala ?, Sut mae Impala Differs o Hive and Mig, How Impala Differs o Gronfeydd Data Perthnasol, Cyfyngiadau a Chyfarwyddiadau yn y Dyfodol, Gan ddefnyddio'r Impala Shell

B. Dewis y Gorau (Hive, Moch, Impala)

C. Modelu a Rheoli Data gydag Impala a Hive

Trosolwg o Storio Data, Creu Cronfeydd Data a Thablau, Llwytho Data i Fyrddau, HCatalog, Impala Metadata Caching

D. Dosbarthu Data

Trosolwg Rhaniad, Rhaniadu yn Impala a Hive

(AVRO) Fformatau Data

Dewis Fformat Ffeiliau, Cymorth Arfau i Fformatau Ffeil, Avro Schemas, Defnyddio Avro gyda Hive a Sgwâr, Avro Schema Evolution, Cywasgu

Cyflwyniad i bensaernïaeth Hbase

Beth yw Hbase, Ble mae'n cyd-fynd, Beth yw NOSQL

Apache Spark

A. Pam Spark? Gweithio gyda System Ffeil Ddosbarthu Spark a Hadoop

Beth yw Spark, Cymhariaeth rhwng Spark a Hadoop, Components of Spark

B. Components Spark, Algorithmau Algorithmau Spark Cyffredin-Alteitregau Addurnol, Dadansoddiad Graff, Peiriannau Dysgu

Apache Spark- Cyflwyniad, Cysondeb, Argaeledd, Rhaniad, Stack Spark Unedig, Cydrannau Spark, Sgaldio enghraifft, mahout, storm, graph

C. Rhedeg Spark ar Glwstwr, Ysgrifennu Spark Ceisiadau gan ddefnyddio Python, Java, Scala

Esboniwch enghraifft python, Dangos gosod sbardun, Esboniwch raglen gyrrwr, Esbonio cyd-destun sbardun gydag enghraifft, Diffinio amrywyn sy'n cael ei deipio'n wan, Cyfunwch scala a java yn ddi-dor, Esboniwch gytûn a dosbarthiad. Eglurwch yr hyn sy'n nodwedd, Esboniwch swyddogaeth uwch er enghraifft, Diffiniwch OFI scheduler, Manteision Spark, Enghraifft o Lamda gan ddefnyddio sbardun, Esboniwch Mapreduce, er enghraifft

Mae Gosodiad Clwstwr Hadoop a Rhedeg Map yn Lleihau Swyddi

Setliad Clwstwr Aml-Nôd gan ddefnyddio Amazon ec2 - Creu gosodiad clwstwr Nodi 4, Rhedeg Map Lleihau Swyddi ar Glwstwr

Prosiect Mawr - Rhoi pethau i gyd gyda'i gilydd a Connecting Dots

Rhoi'r cyfan i gyd gyda'i gilydd a Connecting Dots, Gweithio gyda setiau data Mawr, Camau sy'n ymwneud â dadansoddi data mawr

Cysylltedd ETL gydag Ecosystem Hadoop

Sut mae offer ETL yn gweithio yn y Diwydiant Data Mawr, Cysylltu i HDFS o offer ETL a symud data o'r system Leol i HDFS, Symud Data o DBMS i HDFS, Gweithio gyda Hive gydag Offeryn ETL, Creu Map Lleihau'r swydd yn offeryn ETL, Ends End ETL PoC yn dangos integreiddio data mawr gydag offeryn ETL.

Ffurfweddiad Clwstwr

Trosolwg ar ffurfweddiadau a ffeil cyfluniad pwysig, paramedrau a gwerthoedd Ffurfweddu, paramedrau HDFS paramedrau MapReduce, gosodiad amgylchedd Hadoop, ffeiliau ffurfweddu 'Cynnwys' a 'Eithrio', Lab: MapReduce Tuning Perfformiad

Gweinyddu a Chynnal a Chadw

Strwythur a ffeiliau cyfeiriadur Namenode / Datanode, Delwedd y system Ffeil a Log Golygu, Y Weithdrefn Checkpoint, methiant Namenode a gweithdrefn adfer, Modd Diogel, Metadata a Chopi Data, Problemau ac atebion posibl / beth i'w chwilio, Ychwanegu a dileu nodau, Lab: Adferiad System Ffeil MapReduce

Monitro a Datrys Problemau

Arferion gorau o fonitro clwstwr, Defnyddio logiau a olion stack ar gyfer monitro a datrys problemau, Gan ddefnyddio offer ffynhonnell agored i fonitro'r clwstwr

Scheduler Swydd: Map yn lleihau llif cyflwyno swydd

Sut i drefnu Swyddi ar yr un clwstwr, FIFO Schedule, Fair Scheduler a'i ffurfweddiad

Gosodiad Clwstwr Aml-Nôd a Rhedeg Map Lleihau Swyddi ar Amazon Ec2

Setliad Clwstwr Aml-Nôd gan ddefnyddio Amazon ec2 - Creu gosodiad clwstwr Nodi 4, Rhedeg Map Lleihau Swyddi ar Glwstwr

ZOOKEEPER

Cyflwyniad ZOOKEEPER, achosion defnyddio ZOOKEEPER, ZOOKEEPER Services, Model data ZOOKEEPER, Znodes a'i fathau, gweithrediadau Znodes, Znodes gwylio, Znodes yn darllen ac yn ysgrifennu, Gwarantau Cysondeb, Rheoli Clwstwr, Arweinydd Etholiad, Dosbarthu Loc Unigryw, Pwyntiau pwysig

Ymlaen Oozie

Pam Oozie ?, Gosod Oozie, Rhedeg enghraifft, Peiriant llif gwaith Oozie, Enghraifft M / R gweithredu, Enghraifft cyfrif geiriau, Cais llif gwaith, cyflwyniad llif gwaith, trawsnewidiadau llif llif gwaith, prosesu swydd Oozie, diogelwch Oozie, Pam diogelwch Oozie? , Aml-denantiaeth a scalability, Llinell amser o swydd Oozie, Cydlynydd, Bwndel, Haenau tynnu, Pensaernïaeth, Defnyddiwch Achos 1: sbardunau amser, Defnyddiwch Achos 2: data a sbardunau amser, Defnyddiwch Achos 3: ffenestr dreigl

Flume Ymlaen

Trosolwg o Apache Flume, Ffynonellau data a ddosberthir yn gorfforol, Strwythur newid Data, Golwg agosach, Anatomeg Fflip, Cysyniadau craidd, Digwyddiad, Cleientiaid, Asiantau, Ffynhonnell, Sianeli, Sinciau, Interceptors, Dewisydd Sianel, Prosesydd Sink, Data ingest, Pipeline Asiant , Cyfnewid data traws-weithredol, Llwybrau ac ailgynhyrchu, Pam sianeli ?, Defnyddiwch achos - Cydgofrestru log, Ychwanegu asiant fflwm, Trin fferm gweinyddwr, Cyfaint data fesul asiant, Enghraifft yn disgrifio un defnydd gwifren

Ymlaen HUE

Cyflwyniad HUE, ecosystem HUE, Beth yw HUE ?, Golwg o'r byd go iawn HUE, Manteision HUE, Sut i lanlwytho data yn y Porwr Ffeil ?, Edrych ar y cynnwys, Integreiddio defnyddwyr, Integreiddio HDFS, Hanfodion FRONTEND HUE

Ymlaen Impala

Trosolwg IMPALA: Nodau, Golwg defnyddiwr o Impala: Trosolwg, Golwg defnyddiwr o Impala: SQL, Golwg defnyddiwr o Impala: Apache HBase, Pensaernïaeth Impala, storfa gyfalafol Impala, gwasanaeth catalog Impala, Cyfnodau gweithredu ymholiadau, Cymharu Impala i Hive

Prawf Cais Hadoop

Pam mae profion yn bwysig, profion uned, profi integreiddio, profion Perfformiad, Diagnosteg, profion SA nosol, profion Meincnod a phrofion diwedd i ben, profion swyddogaethol, profion ardystio rhyddhau, profion diogelwch, profi datgymhwyster, comisiynu a datgomisiynu Profion Nodau Data, profi dibynadwyedd , Profi rhyddhau

Rolau a Chyfrifoldebau Proffesiynol Hadoop Proffesiynol

Deall y Gofyniad, paratoi'r Amcangyfrif Profi, Achosion Prawf, Data Prawf, Creu gwelyau Prawf, Ymarfer Prawf, Adrodd Diffyg, Diffyg Ymateb, Cyflwyno adroddiadau Statws Dyddiol, Cwblhau'r prawf, profion ETL ym mhob cam (HDFS, HIVE, HBASE) tra llwytho'r mewnbwn (logiau / ffeiliau / cofnodion ac ati) gan ddefnyddio sqoop / flume sy'n cynnwys gwirio data, Cysoni, Awdurdodi Defnyddwyr a phrofi Dilysu (Grwpiau, Defnyddwyr, Priodweddau ac ati), Adrodd am ddiffygion i'r tîm datblygu neu'r rheolwr a gyrru iddynt gau, Cydgrynhoi'r holl ddiffygion a chreu adroddiadau diffygion, Dilysu nodwedd a materion newydd yn Core Hadoop.

Fframwaith o'r enw MR Uned ar gyfer Profi Map-Lleihau Rhaglenni

Adrodd diffygion i'r tîm datblygu neu'r rheolwr a'u gyrru i gau, Cydgrynhoi'r holl ddiffygion a chreu adroddiadau diffygion, Yn gyfrifol am greu Fframwaith profi o'r enw MR Uned ar gyfer profi Map-Lleihau rhaglenni.

Profi Unedau

Profion awtomeiddio gan ddefnyddio'r OOZIE, dilysu data gan ddefnyddio'r offeryn ymholi ymholiad.

Prawf Cyflawni

Cynllun prawf ar gyfer uwchraddio HDFS, Awtomeiddio prawf a chanlyniad

Strategaeth Cynllun Prawf ac ysgrifennu Achosion Prawf ar gyfer profi Cais Hadoop

Sut i brofi gosod a ffurfweddu

Cefnogaeth Swyddi ac Ardystio

Cynghorion a Chanllawiau Ardystio Cloudera a Paratoi Cyfweliadau Byr, Cynghorion a Thechnegau Datblygiad Ymarferol

Ysgrifennwch atom yn info@itstechschool.com a chysylltwch â ni ar + 91-9870480053 am bris y cwrs a chost ardystio, amserlen a lleoliad

Gadewch i ni Gofyn

Mae'r cwrs hyfforddi hwn wedi'i gynllunio i'ch helpu i glirio'r ddau Cloudera Spark a Hadoop Developer Certification (CCA175) arholiad a Gweinyddwr Ardystiedig Cloudera ar gyfer Apache Hadoop (CCAH) arholiad. Mae cynnwys y cwrs hyfforddi cyfan yn cyd-fynd â'r ddau raglen ardystio hyn ac yn eich helpu i glirio'r arholiadau ardystio hyn yn rhwydd a chael y swyddi gorau yn y MNCau uchaf.

Fel rhan o'r hyfforddiant hwn, byddwch chi'n gweithio ar brosiectau ac aseiniadau amser real sydd â goblygiadau enfawr yn y sefyllfa o ddiwydiant y byd go iawn gan eich helpu chi i lwybr eich gyrfa yn ddiymdrech.

Ar ddiwedd y rhaglen hyfforddi hon, bydd cwisiau sy'n adlewyrchu'r math o gwestiynau a ofynnir yn yr arholiadau ardystio priodol ac yn eich helpu i sgorio marciau gwell mewn arholiad ardystio.

ITS Tystysgrif Cwblhau Cwrs yn cael ei ddyfarnu ar ôl cwblhau gwaith Prosiect (ar adolygiad arbenigol) ac ar ôl sgorio o leiaf 60% o farciau yn y cwis. Mae ardystiad Intellipaat yn cael ei gydnabod yn dda yn 80 + MNCs fel Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware, ac ati.

Am ragor o wybodaeth yn garedig Cysylltwch â Ni


adolygiadau