ՏիպԴասասենյակի ուսուցում
ԳՐԱՆՑՎԵՔ

Հետադարձ Կապ

Նշված դաշտերը * պահանջվում են

 

մեծ տվյալների ստանդարտ սերտիֆիկացման դասընթաց

Big Data Hadoop սերտիֆիկացման դասընթաց եւ դասընթաց

Overview

Հանդիսատեսը եւ նախադրյալները

Դասընթացի նկարագիրը

Ժամանակացույց եւ վճարներ

վավերացում

Մեծ տվյալների հադոուֆ սերտիֆիկացման դասընթացը

Դա համապարփակ Hadoop Մեծ Տվյալների դասընթաց է, որը նախատեսված է ոլորտի մասնագետների կողմից `հաշվի առնելով ներկա արդյունաբերական աշխատանքի պահանջները` մեծ տվյալների եւ Hadoop Մոդուլների խորը ուսուցման համար: Սա արդյունաբերություն է ճանաչվել Մեծ Տվյալների սերտիֆիկացման դասընթացը, որը Hadoop ի մշակողի, Hadoop իդեալական կազմակերպության, Hadoop թեստավորման եւ վերլուծության դասընթացների համադրություն է: Սա է Cloudera Hadoop- ի դասընթացը կպատրաստի ձեզ մաքրել մեծ տվյալների սերտիֆիկացում:

Նպատակները

  • Hadoop 2.7- ի եւ YARN- ի մագիստրոսի հիմունքները եւ դրանց օգտագործման համար գրել դիմումները
  • Amazon EC2- ում Pseudo հանգույցի եւ Multi Node կլաստերի կարգավորումը
  • Master HDFS, MapReduce, փեթակ, խոզ, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Սովորեք Spark, Spark RDD, Graphx, MLlib գրելու Spark ծրագրերը
  • Master Hadoop- ի կառավարման գործողությունները, ինչպիսիք են կլաստերի կառավարումը, մոնիտորինգը, կառավարումը եւ խնդիրները
  • Կառուցել ETL գործիքներ, ինչպիսիք են Pentaho / Talend- ը աշխատելու MapReduce, փեթակ, խոզ եւ այլն
  • Մեծ Տվյալների վերլուծության մանրակրկիտ ըմբռնումը
  • Hadoop թեստավորման ծրագրերը, օգտագործելով MR Unit եւ այլ ավտոմատացման գործիքներ:
  • Աշխատեք եվրո տվյալների ձեւաչափերով
  • Իրականացնել կյանքի ծրագրերը, օգտագործելով Hadoop- ը եւ Apache Spark- ը
  • Հագեցած կլինեն Մեծ Data Hadoop սերտիֆիկացման մաքրման համար:

Նպատակային լսարանը

  • Ծրագրավորման մշակողներ եւ համակարգային ադմինիստրատորներ
  • Փորձառու աշխատանքային մասնագետներ, Ծրագրի ղեկավարներ
  • Big DataHadoop- ի մշակողները ցանկանում են սովորել այլ ուղղահայացներ `փորձարկման, վերլուծության, վարչակազմի մասին
  • Mainframe Պրոֆեսիոնալները, Ճարտարապետները եւ Փորձարկող Պրոֆեսիոնալները
  • Բիզնեսի հետախուզություն, տվյալների պահեստավորում եւ վերլուծական մասնագետներ
  • Մագիստրատուրայի շրջանավարտները, ովքեր ցանկանում են սովորել վերջին Մեծ Տվյալների տեխնոլոգիաները, կարող են վերցնել այս մեծ տվյալների Hadoop սերտիֆիկացման առցանց ուսուցում

նախադրյալները

  • Այս մեծ տվյալների դասընթացն անցկացնելու եւ Hadoop տիրապետելու նախադրյալ չկա: Բայց UNIX- ի, SQL- ի եւ java- ի հիմունքները լավ կլիներ: Intellipaat- ի համար մենք տրամադրում ենք կոմպլեմենտար UNIX եւ Java դասընթաց մեր Մեծ Տվյալների սերտիֆիկացման դասընթացների համար `խրտվություն պահանջվող հմտությունները, որպեսզի դուք լավ եք Hadoop ուսուցման ուղին:

Դասընթացի տեւողությունը `2 օր

Մեծ տվյալների եւ Hadoop- ի եւ դրա էկոհամակարգի ներածումը, քարտեզի կրճատումը եւ HDFS- ը

Ինչ է մեծ տվյալները, որտեղ է Hadoop տեղավորվում, Hadoop բաշխված ֆայլի համակարգը - Replications, Block չափը, Secondary Namenode, բարձր մատչելիություն, Հասկանալ YARN - ResourceManager, NodeManager, տարբերությունը 1.x եւ 2.x

Hadoop տեղադրում եւ տեղադրում

Hadoop 2.x Կլաստերի ճարտարապետություն, ֆեդերացիա եւ բարձր հասանելիություն, տիպիկ արտադրության կլաստերի տեղադրում, Hadoop կլաստերային ռեժիմներ, ընդհանուր Hadoop Shell հրամաններ, Hadoop 2.x կոնֆիգուրացիան Ֆայլեր, Cloudera Single հանգույցի կլաստեր

Deep Dive- ը Mapreduce- ում

Ինչպես Mapreduce Աշխատանքներ, Ինչպես Reducer աշխատում, Ինչպես Վարորդի աշխատում, Combiners, Partitioners, Մուտք ձեւաչափեր, Արդյունք ձեւաչափեր, Խորություն եւ տեսակավորումը, Mapside դառնում, կրճատել կողմի միանում, MRUnit, բաժանված Cache

Լաբորատոր վարժություններ.

HDFS- ի հետ աշխատելը, WordCount- ի գրելու ծրագիրը, մաքսային բաժանարարի ստեղծումը, Mapbound- ի հետ համակցված, Map Side Join, Կրճատել կողմը, միավորի փորձարկման Mapreduce, Running Mapreduce in LocalJobRunner Mode

Գրաֆիկական խնդիրների լուծում

Ինչ է գրաֆիկը, գրաֆիկի ներկայացումը, լայնությունը առաջին որոնման ալգորիթմը, քարտեզի կրճատման գրաֆիկի ներկայացումը, գրաֆիկի ալգորիթմը, գրաֆիկի քարտեզի կրճատման օրինակ,

    Զորավարժություններ 1: Զորավարժություններ 2: Զորավարժությունների 3:

Խոզի մանրակրկիտ ըմբռնումը

Ա

Հասկանալ Apache Pig- ը, առանձնահատկությունները, տարբեր օգտագործումը եւ ուսուցումը Pig- ի հետ

B. Տվյալների վերլուծության համար Pig- ի տեղակայումը

Pig լատիներենի տեքստը, տարբեր սահմանումները, տվյալների տեսակն ու ֆիլտրը, տվյալների տեսակները, ETL- ի համար Pig- ի տեղակայումը, տվյալների բեռնումը, սխեմայի դիտումը, դաշտային սահմանումները, գործածված գործառույթները:

C. Pig- ը համալիր տվյալների մշակման համար

Տարբեր տվյալների տեսակները, ներառյալ ներկառուցված եւ բարդ, Pig- ի հետ մշակվող տվյալները, խմբավորված տվյալների կրկնությունը, գործնական վարժանքը

D. Կատարել բազմաբնույթ տվյալների հավաքածուներ

Տվյալների հավաքագրումը, տվյալների հավաքագրումը, տվյալների հավաքագրման տարբեր մեթոդներ, գործառույթներ, գործառնական վարժություններ

Ե

Հասկանալ օգտագործողի կողմից սահմանված գործառույթները, իրականացնել տվյալների մշակման այլ լեզուներով, ներմուծումներ եւ մակրոներ, օգտագործելով հոսքային եւ UDFs Pig- ը երկարացնելու համար, գործնական վարժություններ

F. Pig Jobs- ը

Աշխատելով Walmart- ի եւ էլեկտրոնային արվեստի իրական տվյալների հավաքածուներով `որպես դեպքի ուսումնասիրություն

Խոզերի մանրակրկիտ ըմբռնումը

Ա

Հասկանալ փեթը, ավանդական տվյալների բազայի համեմատությունը, փեթակ, խոզ եւ փեթակ համեմատություն, փրկարարական եւ փեթակային սխեմաների պահեստավորում, խոռոչի փոխազդեցություն եւ տարբեր օգտագործման դեպքեր, փեթակ

Բ. Կիրառել հարաբերական տվյալների վերլուծություն

Հասկանալ HiveQL- ը, հիմնական սինթետիկան, տարբեր աղյուսակները եւ տվյալների բազաները, տվյալների տիպերը, տվյալների հավաքագրումը միանում, տարբեր ներկառուցված գործառույթներ, տեղադրելու Ցույց հարցումներ սցենարների, վահանակների եւ հեգնանքի վրա:

C. Տվյալների կառավարում, փեթակով

Տարբեր տվյալների բազաներ, տվյալների բազաների ստեղծում, հիվի տվյալների ձեւաչափեր, տվյալների մոդելավորում, կողային կառավարվող սեղաններ, ինքնուրույն կառավարվող աղյուսակներ, տվյալների բեռնում, տվյալների բազաների եւ աղյուսակների փոխանակում, հարցումների պարզեցում Դիտումների քանակով, հարցումների արդյունքների պահպանում, տվյալների հասանելիության հսկում, տվյալների կառավարում ինչպես նաեւ ժայռերի, փաթաթված Metastore եւ Thrift սերվերի հետ:

Դիջեյի օպտիմալացում

Հարցման իրականացման կատարողականի, տվյալների ինդեքսավորման, բաժանման եւ բուքինգի միջոցով

E. Ծառի երկարացում

Տեղափոխել օգտագործողի կողմից սահմանված գործառույթները, փաթաթելու համար

F. Ձեռքերը վարժություններով `աշխատելով մեծ տվյալների հավաքածուներով եւ ծավալուն հարցումներով

Տեղափոխել փեթակ հսկայական ծավալների տվյալների տիրույթների եւ մեծ քանակությամբ հարցումների համար

G. UDF, հարցման օպտիմալացում

Օգտագործելով օգտագործողի սահմանած հարցումներով աշխատելը, սովորել, թե ինչպես օպտիմալացնել հարցումները, կատարելագործման տարբեր եղանակներ կատարելու համար:

Impala

Ա

Ինչ է իմպալան: Ինչպես էպպա տարբերվում ժայռից եւ խոզից, ինչպես է տարբերվում հարաբերական տվյալների բազայից, սահմանափակումներից եւ ապագա ուղղություններից, օգտագործելով Impala Shell- ը:

Բ. Լավագույնը ընտրելը (փեթակ, խոզ, Impala)

C. Իմպալայի եւ փեթակի հետ տվյալների մոդելավորում եւ կառավարում

Տվյալների պահպանման տեսություն, տվյալների բազաների եւ աղյուսակների ստեղծում, տվյալների աղյուսակների մեջ դնելը, HCatalog, Impala Metadata Caching

D. Տվյալների բաժանումը

Partitioning Overview, Partitioning է Impala եւ փեթակ

(AVRO) Տվյալների ձեւաչափեր

Ընտրելով Ֆայլի ֆորմատ, Ֆայլի ձեւաչափերի գործիք աջակցություն, Եվրոյի սխեմաներ, Եվրոյի փեթակով եւ Sqoop- ով օգտագործելով, Եվրոյի սխեմայի էվոլյուցիա, Սեղմում

Ներածություն Hbase ճարտարապետությանը

Ինչ է Hbase, Որտեղ է այն համապատասխանում, Ինչ է NOSQL

Apache Spark- ը

Ա. Աշխատելով Spark եւ Hadoop բաշխված ֆայլերի համակարգով

Ինչ է Spark, համեմատություն Spark եւ Hadoop, բաղադրիչները Spark

B. Spark բաղադրիչները, ընդհանուր Spark ալգորիթմները, Iterative ալգորիթմներ, գրաֆիկական վերլուծություն, մեքենայի ուսուցում

Apache Spark- Ներածություն, հետեւողականություն, առկայություն, միջնորմ, միասնական բծախցիկ, օպցկային բաղադրիչներ, հրկիզ օրինակ, կախարդ, փոթորիկ, գրաֆիկ

C. Running Spark մի կլաստեր, գրելով Spark հայտերը, օգտագործելով Python, Java, Scala

Բացատրեք python օրինակը, ցույց տվեք փետոնի տեղադրումը, բացատրեք վարորդի ծրագիրը, բացատրեք կայծային համատեքստը `օրինակով, Սահմանեք թույլ տառադարձված փոփոխական, միացրեք սկալային եւ java աննշանորեն, Բացատրեք զուգահեռություն եւ բաշխում, բացատրեք, թե ինչ է հատկություն, Բացատրեք ավելի բարձր կարգի գործառույթը, օրինակով, Սահմանել OFI scheduler, Spark- ի առավելությունները, Lamda- ի օրինակ, օգտագործելով Spark- ը, Բացատրեք Mapreduce օրինակով

Hadoop Cluster- ի տեղադրում եւ վազում քարտեզի կրճատում

Multi Node կլաստերի կարգավորում, օգտագործելով Amazon ec2- ստեղծել 4 հանգույցի կլաստերների տեղադրում, վազում քարտեզի կրճատման աշխատանքները կլաստերում

Հիմնական նախագիծը `այն միասին դնելով եւ միացնելով կետերը

Դնելով այն միասին եւ միացնելով կետերը, աշխատելով մեծ տվյալների հավաքածուներով, քայլերը, որոնք ներգրավված են մեծ տվյալների վերլուծության մեջ

ETL կապը Hadoop էկոհամակարգի հետ

Ինչպես է ETL- ի գործիքները աշխատում Մեծ Տվյալների Արդյունաբերությունում, HDFS- ին միանալով ETL- ի գործիքից եւ տեղական համակարգից դեպի HDFS տեղափոխել տվյալներ, տվյալների փոխանցում, DBMS- ից HDFS տեղափոխելու, EVE գործիքի հետ աշխատելու հետ, ETL գործիքի հետ աշխատելու հետ, Map ETL գործիքի աշխատանքների կրճատում, ավարտի վերջ ETL PoC- ն ցույց է տալիս մեծ տվյալների ինտեգրում ETL գործիքի հետ:

Կլաստերի կոնֆիգուրացիան

Կազմաձեւման ակնարկ եւ կարեւոր կոնֆիգուրացիայի ֆայլ, կոնֆիգուրացիայի պարամետրեր եւ արժեքներ, HDFS պարամետրեր MapReduce պարամետրեր, Hadoop միջավայրի կարգավորում, 'Ներառեք' եւ 'Բացառում' կազմաձեւման ֆայլեր, Lab: MapReduce Performance Tuning

Կառավարման եւ սպասարկում

Նամենոդ / Datanode գրացուցակների կառուցվածքը եւ ֆայլերը, Ֆայլի համակարգի պատկերը եւ Խմբագրել տեղեկամատյանները, Checkpoint կարգը, Namenode ձախողումը եւ վերականգնման կարգը, Անվտանգ ռեժիմը, Մետատվյալներ եւ տվյալների կրկնօրինակում, Հնարավոր խնդիրներ եւ լուծումներ / ինչ փնտրել, MapReduce Ֆայլի համակարգի վերականգնում

Մոնիտորինգ եւ խնդիրներ

Կլաստերի մոնիտորինգի լավագույն փորձառությունները, Օգտագործելով տեղեկամատյանները եւ մոնիտորինգի եւ թռուցիկների հայտնաբերման հետքերը, Օգտագործելով բաց կոդով գործիքներ կլաստերին վերահսկելու համար

Աշխատանքային ծրագրավորող. Քարտեզը կրճատում է աշխատանքի ներկայացման հոսքը

Ինչպես դասավորել Ջոբսը նույն կլաստերի վրա, FIFO- ի ժամանակացույցը, Արդար ժամանակացույցը եւ դրա կազմաձեւումը

Multi Node- ի կլաստերի տեղադրումը եւ վազում քարտեզի կրճատման աշխատանքները Amazon EcxNUMX- ում

Multi Node կլաստերի կարգավորում, օգտագործելով Amazon ec2- ստեղծել 4 հանգույցի կլաստերների տեղադրում, վազում քարտեզի կրճատման աշխատանքները կլաստերում

ԶՈՒԿԵՊԵՐ

ZOOKEEPER- ի ներածություն, ZOOKEEPER- ի օգտագործման դեպքեր, ZOOKEEPER ծառայություններ, ZOOKEEPER տվյալների մոդել, Znodes- ը եւ դրա տեսակները, Znodes- ի գործառնությունները, Znodes- ի ժամացույցները, Znodes- ը կարդում եւ գրում է, Համապատասխանության երաշխիքներ, Կլաստերի կառավարում, Առաջատար ընտրություն, Տարածված բացառիկ կողպեք, Կարեւոր կետեր

Advance Oozie

Ինչու Oozie- ի տեղադրումը, Oozie- ի տեղադրումը, օրինակ վարում, Oozie- workflow շարժիչը, օրինակ M / R գործողությունը, Word count- ի օրինակ, Workflow հավելվածը, Աշխատանքային հոսքի ներկայացում, Աշխատանքային հոսքի անցում, Oozie job processing, Oozie security, Ինչու Oozie security? , Multi tenancy եւ scalability, Oozie- ի ժամանակի գիծ, ​​Համակարգիչ, փաթեթ, Բաժնետոմսերի շերտեր, Ճարտարապետություն, Օգտագործման դեպք 1: Time triggers, Օգտագործեք գործը 2: Տվյալների եւ ժամանակի գործարկիչները, Օգտագործեք Case 3:

Advance Flume

Apache Flume- ի ակնարկը, Ֆիզիկական բաշխված տվյալների աղբյուրները, Տվյալների փոփոխման կառուցվածքը, Ավելի ուշ տեսք, Ծալովի անատոմիա, Հիմնական հասկացություններ, Իրադարձություն, Հաճախորդներ, Գործողներ, Աղբյուր, Channels, Sinks, Interceptors, Channel Selector, Լվացքի պրոցեսոր, , Գործարքների տվյալների փոխանակում, Ուղղորդում եւ վերարտադրություն, Ինչու է ալիքները, Օգտագործեք դեպքը, Log aggregation, Flume գործակալի ավելացում, Սերվերային ֆերմայի կառավարում, Տվյալների ծավալը մեկ գործակալի համար, Օրինակ, նկարագրելով մեկ հանգույցի փաթաթման տեղադրումը

Առաջարկել HUE- ը

HUE- ի ներդրումը, HUE- ի էկոհամակարգը, HUE- ն, HUE- ի իրական տեսակետը, ՀՅՈՒ-ի առավելությունները, HUE- ի հիմունքները, Ինչպես բեռնել ֆայլերի բրաուզերի մեջ, դիտել բովանդակությունը, ինտեգրել օգտվողներին, ինտեգրվել HDFS- ի:

Advance Impala- ն

IMPALA- ի ներածություն, User view of Impala: Ընդհանուր ակնարկ, User view of Impala: SQL, User view of Impala: Apache HBase, Impala ճարտարապետություն, Impala պետական ​​խանութ, Impala կատալոգ ծառայություն, Հարցման կատարման փուլեր, համեմատել Impala է փեթակ

Hadoop դիմումի փորձարկում

Ինչու փորձարկումը կարեւոր է, Unit testing, Integration testing, Performance testing, Diagnostics, Nightly QA test, Benchmark and end to end tests, Functional testing, Release certification testing, Անվտանգության թեստավորում, Scalability Testing, շահագործման եւ դադարեցում Տվյալների հանգույցների ստուգում, Հավաստիության փորձարկում , Թողարկումը թեստավորում

Հադոպի փորձարկման մասնագետների դերը եւ պարտականությունները

Ստուգել պահանջը, թեստային գնահատման, թեստային դեպքերի նախապատրաստումը, փորձարկման տվյալները, փորձնական մահճակալի ստեղծումը, թեստի կատարումը, թերության հաշվետվությունը, թերությունների վերադարձը, ամենօրյա վիճակագրության ներկայացումը, փորձարկման ավարտը, ETL ստուգումը յուրաքանչյուր փուլում (HDFS, HIVE, HBASE): բեռնումը մուտքագրում (տեղեկամատյան / ֆայլեր / ձայնագրություններ եւ այլն) օգտագործելով sqoop / flume- ը, որը ներառում է, բայց չի սահմանափակվում տվյալների հստակեցման, հաշտեցման, օգտագործողի լիազորման եւ նույնականացման ստուգման (խմբերի, օգտագործողների, արտոնությունների եւ այլն) դրանք փակելու, համախմբելու բոլոր թերությունները եւ ստեղծեք թերությունների հաշվետվություններ, վավերացնելով նոր առանձնահատկությունն ու խնդիրները Core Hadoop- ում:

Շրջանակ, որը կոչվում է MR Unit, Քարտեզների կրճատման ծրագրերի փորձարկման համար

Զեկուցել թերությունների մասին զարգացման թիմին կամ ղեկավարին եւ դրանք փակել, փակել բոլոր թերությունները եւ ստեղծել թերությունների հաշվետվություններ, պատասխանատու է MR Unit- ի քարտեզի կրճատման ծրագրերի փորձարկման համար:

Միավորի փորձարկում

OOZIE- ի միջոցով ավտոմատացման փորձարկում, Տվյալների վավերացում, օգտագործելով հարցման ալիքի գործիք:

Թեստի կատարում

HDFS- ի արդիականացման փորձարկման պլան, Test ավտոմատացում եւ արդյունք

Փորձարկման պլանի ռազմավարությունը եւ գրելը Թեստային գործեր `փորձարկման Hadoop դիմումը

Ինչպես փորձարկել տեղադրումը եւ կարգավորել

Աշխատանք եւ սերտիֆիկացման աջակցություն

Cloudera սերտիֆիկացման խորհուրդներ եւ ուղեցույց եւ կատակ հարցազրույցի նախապատրաստում, գործնական զարգացման խորհուրդներ եւ տեխնիկա

Խնդրում ենք գրել մեզ info@itstechschool.com եւ մեզ հետ կապ հաստատեք + 91-9870480053- ում `դասընթացի արժեքի եւ սերտիֆիկացման արժեքի, ժամանակացույցի եւ գտնվելու վայրի համար

Բաց թողնել մեզ հարցումը

Այս վերապատրաստման դասընթացը նախատեսված է այնպես, որ ձեզ հստակեցնեք Cloudera Spark- ը եւ Hadoop Developer սերտիֆիկատը (CCA175) քննություն եւ այլն Cloudera- ի հավաստագրված կառավարիչ Apache Hadoop- ի համար (CCAH) քննություն: Դասընթացի ամբողջ դասընթացի բովանդակությունը համապատասխանում է այս երկու սերտիֆիկացման ծրագրերին եւ օգնում է պարզեցնել այս սերտիֆիկացման քննությունները `հեշտությամբ եւ լավագույն աշխատատեղերը ստանալու համար:

Այս դասընթացի մասում դուք կաշխատեք իրական ժամանակի ծրագրերի եւ հանձնարարականների վրա, որոնք ունեն անսպասելի հետեւանքներ իրական աշխարհի արդյունաբերական սցենարում, այդպիսով օգնելու ձեզ արագորեն հետեւել ձեր կարիերային:

Դասընթացի ավարտին կպատրաստվեն վիկտորինաներ, որոնք հիանալի կերպով արտացոլում են համապատասխան սերտիֆիկացման քննություններում տրված հարցերի տեսակները եւ օգնում են ձեզ գնահատել ավելի լավ գնահատականներ ատեստավորման քննության ժամանակ:

Դասընթացի ավարտական ​​վկայական պարգեւատրվելու է Ծրագրի աշխատանքը (փորձաքննության) եւ վիկտորինգն առնվազն 60% գնահատման արդյունքում: Intellipaat սերտիֆիկատը ճանաչված է լավագույն 80 + MNC- ներում, ինչպիսիք են Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Սենտ-Գոբեյն, Standard Chartered, TCS, Genpact, Hexaware եւ այլն:

Լրացուցիչ տեղեկությունների համար խնդրում ենք Հետադարձ կապ -


Reviews