түрүСабак өтүлө турган кабинет окутуу
REGISTER

чоң маалымат hadoop күбөлүк, албетте,

Big маалыматтар Hadoop Тастыктоо Course & окутуу

жалпы көрүнүш

Угуучуларды & зарыл

Сабактын аныктамасы

Тартиби жана төлөмдөр

күбөлүк

Big маалыматтар Hadoop Тастыктоо Course Обзор

Бул чоң маалыматтарды жана Hadoop Модулдарга жөнүндө кылдат окутууну камсыз кылуу үчүн учурдагы өнөр жайы жумуш талаптарды эске алуу менен өнөр жай эксперттери тарабынан иштелип чыккан ар тараптуу Hadoop Big маалыматтар окутуу болуп саналат. Бул өнөр жай болуп таанылган Big маалыматтар күбөлүк тренинг Hadoop иштеп окуу курстарына жыйындысы болуп саналат, Hadoop администратор, Hadoop тестирлөө жана аналитика сыяктуу. бул Cloudera Hadoop окутуу чоң маалымат күбөлөндүрүүнү тазалоо үчүн даярдай турган.

милдеттери

  • Hadoop 2.7 жана жүндөн, жаз арыздарды Master негиздери, аларды колдонуу
  • Amazon EC2 боюнча Pseudo түйүн жана Көп түйүн топтолуусу орнотулууда
  • Master HDFS, MapReduce, аарынын уюгундай, Чочко, Oozie, Sqoop, лоток, Zookeeper, HBase
  • Spark үйрөнгүлө, RDD, Graphx, MLlib жазуу Spark колдонмолорду кантет
  • Master Hadoop башкаруу иш-кластердик башкаруу, мониторинг жүргүзүү, башкаруу жана чечүү сыяктуу
  • ETL куралдары Configuring сыяктуу Pentaho / Talend MapReduce менен иштөө, аарынын уюгундай, чочко ж.б.
  • Big маалыматтар аналитика толук түшүнүү
  • Hadoop сыноо арыз MR бөлүмүнө жана башка өндүрүш каражаттарын пайдалануу.
  • Avro маалымат түрлөрү менен иш алып баруу
  • Practice реалдуу жашоо Hadoop жана Apache жаратышы аркылуу долбоорлор
  • Big маалыматтар Hadoop Тастыкташтыруу тазалоо үчүн даяр болот.

арналган Угуучуларды

  • Программалоо иштеп чыгуучулар жана системдик администраторлордун
  • Тажрыйбалуу адистер иштешет, долбоордук-менеджерлери
  • Big DataHadoop Developers тестирлөө, Аналитика, башкаруу сыяктуу башка verticals үйрөнүүгө дилгир
  • ЭЭМдеринде Адистер, архитекторлор & Testing адистер
  • Бизнес-аналитика, Берилиштердин кампасы жана Аналитика адистер
  • Бүтүрүүчүлөр, акыркы Big маалыматтар технологиясын үйрөнүүгө дилгир, магистранттары бул Big маалыматтар Hadoop Тастыктоо онлайн билим алышат

Талаптар

  • Бул Big маалыматтар окутууну алып Hadoop үйрөнүү үчүн эч кандай алдын-ала керектүү бар. Бирок UNIX, SQL жана Java негиздери good.At Intellipaat, биз Hadoop сага жакшы окутуу жолу болуп саналат, ошондуктан щетка-түзүү зарыл болгон көндүмдөрдү биздин Big маалыматтар күбөлүк даярдоо менен Unix жана Java комплект курсун камсыз болмок.

Course Outline Duration: 2 Days

Big маалыматтар & Hadoop киришүү жана экосистемасын, Карта азайтуу жана HDFS

Big маалыматтар эмне, Hadoop, Hadoop таратылды File системасы менен дал келет - бөлүнүшү, Блок Size, орто Namenode, Жогорку болушу, Understanding жипти - ResourceManager, NodeManager, 1.x жана 2.x ортосундагы айрыма

Hadoop орнотуу & орнотуу

Hadoop 2.x Cluster Архитектура, Киргизия, Башкы болушу, типтүү Production Cluster орнотуу, Hadoop Cluster Modes, Common Hadoop Shell буйруктары, Hadoop 2.x Тарам Files, Cloudera Single түйүн кластер

Mapreduce-жылы Deep Dive

Mapreduce Works, Reducer кантип иштейт, айдоочу кантип иштейт, Combiners, Partitioners, Input Жылдар, Output Жылдар, тизмени жана Сорттоо, Mapside кошулушу, Side кошулушу, MRUnit кыскартуу, кандайча бөлүштүрүлгөн Кэш

Lab көнүгүүлөр:

HDFS, жазуу WordCount программасы менен иштеп, салт partitioner жазуу, Combiner менен Mapreduce, Карта Side Каттоо, Side кошулушу, Unit тестирлөө Mapreduce, LocalJobRunner режиминде Mapreduce Running кыскартуу

Диаграмма чечүү

Graph, диаграмма өкүлчүлүгү, туурасы биринчи Algorithm, диаграмма Карта ӨКҮЛЧҮЛҮГҮ Издөө диаграмма Algorithm кылууга кантип кыскартуу деген эмне, диаграмма Карта үлгүсү кыскартуу,

    Exercise 1: Exercise 2: Exercise 3:

Чочко толук түшүнүү

A. киришүү Чочко

Түшүнүү Apache Чочко, өзгөчөлүктөрү, ар кандай пайдалары жана Чочко менен карым-үйрөнүү

B. жайгаштыруу маалыматтарды талдоо үчүн Pig

Чочко латын тилинин синтаксиси, ар кандай аныктамалар, маалыматтар кандай жана чыпкасыз үчүн маалымат түрлөрү, чочконун жайгаштыруу ETL, маалыматтарды жүктөө, схемасын көрүп, талаа аныктамалар, милдеттерин көп колдонулган.

C. татаал маалыматтарды иштетүү боюнча Pig

камтылган жана комплексин, анын ичинде ар кандай маалымат түрлөрү, чочко менен иштетүү маалыматтар топтолгон маалыматтарды кайталоо, практикалык машыгуу

D. Performing multi-dataset operations

Маалыматтар кошулуп, маалыматтар топтому ажыратуу, маалыматтарды алуу үчүн ар кандай ыкмалар белгиленген иш, бириктирип белгилегенин, машыгуу колу-белгиленет

E. узартуу Чочко

Колдонуучу аныкталган милдеттерин, башка тилдер менен маалыматтарды иштеп чыгууну жүзөгө түшүнүү, импорттун жана макросторду, түз жана UDFs колдонуп Чочко, практикалык көнүгүүлөрдү узартуу

F. Pig Jobs

Эгерде изилдөө Walmart жана Electronic Arts катышуусу реалдуу маалыматтар топтому менен иштөө

Аарынын уюгундай толук түшүнүү

A. Hive Introduction

Түшүнүү шаар, шаар, чочко жана шаар салыштырмалуу салттуу базасы салыштырып, шаар жана шаар схемасында маалыматтарды сактоо, шаар өз ара аракеттенүү жана аарынын уюгундай ар кандай пайдалануу учурларда

мамиледеги маалыматтарды талдоо үчүн B. Hive

Түшүнүү HiveQL, негизги синтаксистик, ар кандай үстөлдөр жана маалымат базалары, маалымат түрлөрү, маалымат бириктирүү, ар кандай суроолор, кыртыш жана Манила боюнча уюгундай суроолор боюнча жайгаштыруу, иш-жылы курулган койду.

C. Берилиштер уюгундай менен

ар кандай маалымат базалары, маалымат базасын түзүү, аарынын уюгундай маалыматтар түрүндөгү, маалымат моделдөө, шаар башкарган Tables, өзүн-өзү башкарган Tables, маалыматтарды жүктөө, өзгөртүүгө базалары жана Tables, Views менен суроо жөнөкөйлөтүү, сурамдардын натыйжасы сактоо, маалымат мүмкүндүк алууну башкаруу, маалыматтарды башкаруу аарынын уюгундай, аарынын уюгундай Metastore жана Үнөмдүүлүк жүрүш менен.

D. уюгундай оптималдаштыруу

Үйрөнүү боюнча ылгоолор жок аткаруу, маалымат индекстөө бөлүү жана bucketing

E. Hive узартуу

Уюктагы узартуу үчүн катышуучунун белгиленген милдеттерди жайгаштыруу

F. Hands көнүгүүлөр - ири маалымат топтому жана зор беруу менен иштөө

маалымат системасында көп томдук үчүн уюктагы жайгаштыруу жана санын иреттей аласыз ири көлөмдөгү

G. UDF, суроо оптималдаштыруу

Колдонуучу деген суроо менен көп иштеп, суроолорун оптималдаштыруу үйрөнүү, ар түрдүү ыкмалары аткаруу терүү үчүн.

Импала

A. Импала киришүү

Импала ?, Impala уюгундай жана булганган айырмасы эмнеде? Эмне, рота Shell колдонуп, берилиштер базасын, Проблемалар жана келечек багыттары тартып Импала кантип айырмаланат

B. тандоо Best (шаар, Чочко, рота)

C. моделдөө жана башкаруучу маалыматтар Импала жана аарынын уюгундай менен

Маалыматтарды сактоо Обзор, түзүү маалымат базаларын жана Tables, жүктөлүүдө маалыматын эске столдорду, HCatalog, рота Metadata Caching

D. маалыматтар Белгилөө

Белгилөө Обзор, рота жана аларды уюкта Partitioning

(AVRO) маалыматтары Жылдар

бир File Калыптоо тандоо, курал File болушу колдоо, Avro схемаларынын, колдонуу уюгундай жана Sqoop менен Avro, Avro схема Evolution кысуу

Hbase архитектурасына кириш

Эмне алдыруу кылат Hbase болуп саналат, NOSQL деген эмне

Apache Spark

A. Эмне кантет? Spark жана Hadoop таратылды File системасы менен иштөө

Spark деген эмне, Искра жана Hadoop, Искра компоненттеринин ортосундагы салыштыруу

B. Spark компоненттери, Common Spark Алгоритмдер-Iterative Алгоритмдер, диаграмма талдоо, Machine Learning

Apache Spark- Introduction, мурда түзүлгөн, жеткиликтүү, бөлүштүрүү, бирдиктүү Stack Spark, кантет комплектөө, Scalding үлгү, пилди, бороон, диаграмма

C. Python, Java, Scala колдонуп Spark Табыштамаларды жазуу, бир кластери боюнча жалындын Running

Python мисал, бир учкунду орнотуп көрсөтүү түшүндүрүп,,,,,, мисалы менен айдоочу программасын түшүндүрүп учкуну контекстти түшүндүр жантайма терилген өзгөрмө аныктоо жашыруун Ерболат Java комбинаты параллелизмди жана бөлүштүрүлүшүн түшүндүргүлө., сапат кандай, мисалы, жогорку тартиби милдетин түшүндүрүп түшүндүрүп, Ксанти аныктоо пландоочу, Искра артыкчылыктары, учкунду колдонуп Lamda үлгүсү, мисал менен түшүндүргүлө Mapreduce

Hadoop кластердик орнотуу жана Карта кыскартуу Жумуш Running

Көп Node кластердик орнотуу Amazon ec2 колдонуп - 4 түйүн кластердик орнотуп түзүү Карта азайтуу Жумуш боюнча кластердик Running

Негизги долбоор - бирге, аны бардык коюу жана туташуу Dots

чогуу бардык коюу жана ири маалымат топтому менен иштөө Dots, Байланууда, көп маалыматтарды анализдөө менен алектенген кадамдар

Hadoop Экосистемалык менен ETL Байланыш

ETL аспаптар Big маалыматтар өнөр жай, ETL курал тартып HDFS туташуу жана HDFS жергиликтүү системасынан маалыматтарды көчүп, HDFS үчүн СУБД карай маалыматын, ETL куралынын менен уюгундай менен иштөө боюнча иш кандай, Map ETL курал-жылы жумуш кыскартуу түзүү, End ETL чечилет село ETL курал менен чоң маалымат бир бүтүндүктө көрсөтүү.

Cluster Тарам орнотуусу

Тарам сереп жана маанилүү тарам билэ, ырастоо параметрлери жана баалуулуктар, HDFS MapReduce параметрлерин, Hadoop чөйрөнү орнотуу, ошондой эле "алып салынсын" тарам документ кошуу ", Lab параметрлерди: MapReduce Performance Tuning

Башкаруу жана техникалык жактан

Namenode / Datanode каталог структуралар жана делолору File системасы сүрөтү жана түзөтүү журналы, Checkpoint тартиби, Namenode аткарбоо жана калыбына келтирүү жол-жобосу, ​​Коопсуз режими, Metadata жана маалыматтар камдык сактоо, мүмкүнчүлүгү көйгөйлөр жана аларды чечүү жолдору бездеринин кошуу жана алып салуу, издеп эмне /, Лаборатордук иш: MapReduce File системасы калыбына келтирүү

Мониторинг жана Кыйынчылыктарды

топтолуусу мониторинг жүргүзүү үчүн мыкты уйгактан мониторинг жүргүзүү тажрыйбасы, мониторинг жүргүзүү жана жоюу үчүн таржымалдары менен Үймөк издери колдонуп, ачык-булагы куралдарды колдонуу

Аюб Scheduler: Карта жумуш берүү агымын азайтуу

Ошол эле чогулушу жөнүндө Жумуш убактысын кантип FIFO тартиби, Адилет пландоочу жана анын тарам

Көп Node кластердик орнотуу жана Running Карта Amazon Ec2 жөнүндө Жумуш кыскартуу

Көп Node кластердик орнотуу Amazon ec2 колдонуп - 4 түйүн кластердик орнотуп түзүү Карта азайтуу Жумуш боюнча кластердик Running

ZOOKEEPER

ZOOKEEPER Introduction, ZOOKEEPER колдонуу учурлары, ZOOKEEPER Services, ZOOKEEPER маалымат модели, Znodes жана анын түрлөрү, Znodes аракеттер, Znodes карап, Znodes, окуйт жана жазат түзүлгөн кепилдиктер, Cluster башкаруу, Лидер Шайлоо, таратылды Exclusive Lock, Маанилүү учурлар

Advance Oozie

Эмне үчүн Oozie ?, орнотуу Oozie, үлгү Running, Oozie- жумуш кыймылдаткыч, мисалы: M / R аракет, Кездешүү саны үлгү, Workflow арыз, жумуш берүү, жумуш мамлекеттик өтүүлөр, Oozie жумуш иштеп, Oozie коопсуздук, эмне үчүн Oozie коопсуздук ?, Жумуш берүү , көп ижара жана ишеничтүүлүгү, Oozie жумуш убактысы линия боюнча координатору, Bundle, абстракттуу катмарларга, Архитектура, пайдалануу Case 1: убакыт Триггерлерди, пайдалануу Case 2: маалымат жана убактысы иштеткенде, пайдалануу Case 3: тоголотуп терезе

Advance лоток

Apache нук баяндама, денелик маалымат булактарын, Data түзүмүн өзгөртүү бөлүштүрүлөт, талдап, нук анатомиясы, негизги түшүнүктөр, кошуу, кардарлар, өнөктөштөр, Source, каналдар, мойки, Interceptors Канал селектор, Sink иштетүү, маалыматтарды денеге кирген, Agent кууру , ишкер маалымат алмашуу, Каттамды аныктоо жана жараткан, эмне үчүн каналдар колдонуу жыйындысын Log case- ?,, гидрометриялык агент кошту, бир Server чарба Handling, агент күнүнө маалыматтар көлөмүн, мисалы бир түйүн гидрометриялык жайгаштырууга сүрөттөгөн

Advance HUE

HUE киргизүү, HUE экосистемасын, эмне HUE ?, HUE реалдуу дүйнө көрүнүшү болуп саналат, Сурат артыкчылыктары, File Серепчиден маалыматтарды жүктөп кантип ?, мазмунун көрүү, колдонуучуларды киргизүү, киргизүү HDFS, HUE Frontend негиздери

Advance Impala

Импала Обзор: максаттар, рота колдонуучу көрүү: сереп, рота жөнүндө маалымат эске: SQL, рота жөнүндө маалымат эске: Apache HBase, рота архитектура, рота мамлекеттик дүкөндө, рота каталогу кызматы, Query аткаруу этаптарын, салыштыруу Импала уюктагы

Hadoop Колдонмо Testing

сыноо эмне үчүн маанилүү экенин, Unit Тестирлөө, топтоштуруу сыноо, Performance сыноо, диагностикасы, Nightly QA сыноо, тесттер, аягына чейин эталондук жана аяктоо Белек тестирлөө, Чыгарган күбөлүк сыноо, Коопсуздук тестирлөө, башкаруучулугун тестирлөө, куроо жана маалыматтар Nodes тестирлөө чыгаруу, Ишенимдүүлүк сыноо , Чыгарган сыноо

Hadoop Testing Кесипкөйлөр ролдор жана милдеттер

Түрдө түшүнүп, тестирлөө баа даярдоо, Test учурлары, Test маалыматтар Test керебет түзүү, Test аткаруу, Defect Reporting, Defect ЭОКко, ар бир баскычта, Daily Status отчет жеткирүү, Test аяктоо, ETL сыноо (HDFS, уюкка, HBASE), ал эми киргизүү жүктөөдө (журналдар / Files / жазуулар ж.б.) sqoop / гидрометриялык посттун маалыматтары текшерүү менен эле чектелген эмес, бирок, анын жардамы менен, ынтымак, маалымат каражаттарын башкаруу жана аныктыгын текшерүү (Groups, Users, артыкчылыктар жана башкалар), отчет өнүктүрүү команданын же менеджер жана айдоо үчүн кемчилиги аларды жабуу үчүн, бардык кемчиликтерди бириктирилген жана негизги Hadoop-жылы жаңы мүмкүнчүлүктү жана маселелерди Жөнөкөй, буга отчетторду түзүү.

Алкактык текшерүү боюнча программа Карта-кыскартуу MR бөлүмү деп аталат

өнүктүрүү командага отчет кемчиликтер же менеджер менен жабылган, аларды кууп, бардык кемчиликтерди бириктирилген жана программаларды карта-кыскартуу сыноо үчүн MR Unit деген сыноо негиздерди түзүү үчүн жооптуу кемчилик отчетторду түзүү.

Unit Testing

Тилибизди OOZIE, суроо улам куралды колдонуу берилиштер менен сыноо.

Test аткаруу

HDFS жакшыртылат, Test техникасынын жана натыйжасын Test планы

тестирлөө Hadoop колдонуу үчүн сыноо планы стратегиясы жана жазуу Test учурлар

Кантип орнотуу жана тууралоо сыноо үчүн

Аюб жана Тастыктоо колдоо

Cloudera Тастыктоо сунуштар жана багыт берүү жана Жалган маек даярдоо, практикалык өнүгүү шарттары жана техника

Бизге жазган info@itstechschool.com & Албетте, баасы жана күбөлүк наркы үчүн + 91-9870480053 боюнча биз менен байланышып, тартиби жана жайгашкан жери

Drop бизге бир суроо боюнча издөө

Бул окутуу, албетте, ачык-айкын жардам берүү үчүн иштелип чыккан эки Cloudera Spark жана Hadoop Иштеп күбөлүк (CCA175) сынак жана Cloudera Apache Hadoop үчүн тастыкталган Administrator (CCAH) сынак. толугу менен тренинг мазмуну бул эки күбөлүк программаларга ылайык жана эч кыйынчылыксыз бул күбөлүк экзамендерин тазалап, жогорку MNCs мыкты жумуш таап берет.

Бул окутуу алкагында Эгер орозо аракетчил сиздин эмгек көз жардам реалдуу дүйнө өнөр жагдайда зор мааниге ээ реалдуу убакыт долбоорлорду жана тапшырмалар боюнча иш болот.

Бул окутуу программасынын аягында кемчиликсиз бар оюн-зоок болот тиешелүү күбөлүк тестке суроолорго түрүн чагылдырган жана күбөлүк экзаменден жакшы белги упайлар жардам берет.

АНЫ Курсту аяктоо кат Долбоор боюнча иштерди аяктагандан кийин ыйгарылат (экспертиза боюнча) жана Пакистанга жок дегенде 60% белгилерди топтой үстүндө. Intellipaat күбөлүк жана Ericsson сыяктуу жогорку 80 + MNCs таанылат, Cisco, көрбөйт, Sony, Му сигма, Санкт-Gobain, Standard Chartered, TCS, Genpact, Hexaware ж.б.

Көбүрөөк маалымат алыш үчүн, жылуу-жумшак Биз менен байланыш.


сын-пикир