ТипОбучение в клас
РЕГИСТРИРАЙ СЕ

голям курс за сертифициране на сертификати

Големи данни Hadoop Курс за сертифициране и обучение

Преглед

Аудитория и предпоставки

Дизайн на курса

График и такси

сертифициране

Големи данни Hadoop сертификационен курс Преглед

Това е изчерпателен учебен курс "Hadoop Big Data", разработен от експерти от индустрията, които обмислят настоящите изисквания за работа в индустрията, за да осигурят задълбочено изучаване на големи данни и модули Hadoop. Това е индустриално признат курс за обучение за сертифициране по Big Data, който е комбинация от курсовете за обучение в разработчика на Hadoop, администратора на Hadoop, тестването на Hadoop и аналитиката. Това Cloudera Обучението на Hadoop ще ви подготви да изчистите голяма сертификация на данни.

Цели

  • Основни принципи на Hadoop 2.7 и YARN и да пишат приложения, които ги използват
  • Настройване на псевдо възел и клъстер с множество възли в Amazon EC2
  • Магистър HDFS, MapReduce, кошер, прасе, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Научете Spark, Spark RDD, Graphx, MLlib за писане на искрови приложения
  • Управляващите дейности на Master Hadoop като управление на клъстери, мониторинг, администриране и отстраняване на неизправности
  • Конфигуриране на ETL инструменти като Pentaho / Talend за работа с MapReduce, Hive, Pig и т.н.
  • Подробно разбиране на анализите на Big Data
  • Hadoop приложения за тестване с помощта на MR Unit и други инструменти за автоматизация.
  • Работете с форматите за данни на Avro
  • Практикувайте реални проекти, използващи Hadoop и Apache Spark
  • Бъдете оборудвани, за да изчистите сертифицирането на Big Data Hadoop.

Целева публика

  • Програмиране на програмисти и системни администратори
  • Опитни професионалисти, ръководители на проекти
  • Големи DataDown разработчици, които искат да научат други вертикали като Testing, Analytics, Administration
  • Професионалисти, специалисти по архитектура и тестване
  • Бизнес интелигентност, съхранение на данни и професионалисти в Google Анализ
  • Завършилите, студентите, които желаят да научат най-новата технология Big Data, могат да вземат онлайн обучение по Big Data Hadoop Certification

Предпоставки

  • Няма предварителна предпоставка за това обучение за големи данни и за овладяване на Хадоуп. Но основите на UNIX, SQL и java биха били добри. В Intellipaat ние предлагаме безплатни курсове за Unix и Java с обучението си за сертифициране на Big Data, за да натрупате необходимите умения, за да сте добри в учебния път на Hadoop.

Продължителност на курса: 2 дни

Въведение в Big Data & Hadoop и неговата екосистема, Map Reduce и HDFS

Какво е Big Data, Къде се вписва Hadoop, Hadoop Distributed File System - Репликации, Размер на блока, Вторичен Namenode, Висока наличност, Разбиране YARN - ResourceManager, NodeManager, Разлика между 1.x и 2.x

Инсталация и настройка на Hadoop

Hadoop 2.x Клъстерна архитектура, федерация и висока достъпност, типична настройка на производствения клъстер, Hadoop клъстерни режими, общи команди на Hadoop Shell, конфигурационни файлове Hadoop 2.x, Cloudera Клъстер за единичен възел

Дълбоко гмуркане в Mapreduce

Как Mapreduce Works, как Reducer работи, как работи драйвера, комбинирани, дялове, входни формати, изходни формати, разбъркване и сортиране, Mapside Joins, намаляване на страничните връзки, MRUnit, разпределен кеш

Лабораторни упражнения:

Работа с HDFS, Писане на WordCount програма, Писане на персонализиран дял, Mapreduce с Combiner, Странично присъединяване към картата, Намаляване на страничните връзки, Проверка на единица Mapreduce, Работа Mapreduce в LocalJobRunner Mode

Графично разрешаване на проблеми

Какво представлява графиката, представянето на графиката, алгоритъма за търсене на първото изображение, представянето на графиката на намаляването на картата, как да направите алгоритъма на графиката, пример за намаляване на графичната карта,

    Упражнение 1: Упражнение 2: Упражнение 3:

Подробно разбиране на прасето

А. Въведение в свинското

Разбиране на Apache Pig, функциите, различните начини на употреба и учене за взаимодействие с Pig

B. Разгръщане на свине за анализ на данни

Синтаксисът на Pig Latin, различните дефиниции, сортиране и филтриране на данни, типове данни, внедряване на Pig for ETL, зареждане на данни, показване на схеми, дефиниции на полета, често използвани функции.

С. Прасе за сложна обработка на данни

Различни типове данни, включително вложени и сложни, обработващи данни с Pig, итерация на групирани данни, практически упражнения

Г. Извършване на операции с множество данни

Добавяне на набор от данни, разделяне на комплекта от данни, различни методи за комбиниране на набор от данни, задаване на операции, практически упражнения

Д. Разширяване на прасето

Разбиране на потребителски дефинирани функции, обработка на данни с други езици, импортиране и макроси, използване на стрийминг и UDF за разширяване на прасето, практически упражнения

Е. Прасета

Работа с реални данни, включващи Walmart и Electronic Arts като казус

Подробно разбиране на кошера

А. Въведение на кошера

Разбиране на кошера, сравняване на традиционните бази данни с сравнение с кошера, прасета и кошери, съхранение на данни в схемата "кошер и кошер", взаимодействие на кошера и различни случаи на използване на кошера

B. Кошер за анализ на релационни данни

Разбиране на HiveQL, основен синтаксис, различните таблици и бази данни, типове данни, свързване на набор от данни, различни вградени функции, внедряване на кошерните заявки на скриптове, черупки и оттенък.

C. Управление на данните с кошера

Различни бази данни, създаване на бази данни, формати на данни в кошера, моделиране на данни, управлявани таблици, самостоятелно управлявани таблици, зареждане на данни, смяна на бази данни и таблици, опростяване на заявки с изгледи, съхраняване на заявки, контрол на достъпа до данни с кошера, кошера Metastore и Thrift сървъра.

Г. Оптимизиране на кошера

Изучаване на ефективността на заявката, индексирането на данни, разделянето и букетите

Д. Разширяване на кошера

Разгръщане на потребителски дефинирани функции за разширяване на кошера

F. Ръцете върху упражненията - работа с големи набори от данни и обширни заявки

Разгръщане на кошера за огромни обеми от данни и големи количества заявки

G. UDF, оптимизиране на заявки

Работейки широко с потребителски дефинирани заявки, научавайки как да оптимизирате заявките, различни методи за настройка на ефективността.

Impala

А. Въведение в Импала

Какво е Impala ?, Как Impala се различава от кошера и прасето, как Impala се различава от релационни бази данни, ограничения и бъдещи указания, използвайки Impala Shell

Б. Изборът на най-добрите (кошер, прасе, импала)

C. Моделиране и управление на данни с Impala и Hive

Преглед на данните за съхранение, създаване на бази данни и таблици, зареждане на данни в таблици, HCatalog, Impala метаданни кеширане

Г. Разделяне на данни

Преглед на разделянето, разделяне в импала и кошер

(AVRO) формати на данни

Избор на формат на файла, поддръжка на инструмента за файлови формати, Avro схеми, използване на Avro с кошер и Sqoop, Evro Schema Evolution, компресия

Въведение в Hbase архитектурата

Какво е Hbase, къде се вписва, какво е NOSQL

Апачи Спарк

А. Защо искри? Работа с Distributed File System на Spark и Hadoop

Какво представлява Spark, Сравнение между Spark и Hadoop, Компоненти на Spark

B. Spark Components, Common Spark Algorithms - Итеративни алгоритми, Графичен анализ, Machine Learning

Apache Spark - Въведение, консистенция, наличност, разделяне, унифицирано Stack Spark, Spark Components, пример за изгаряне, махут, буря, графика

C. Изпълнение на Spark в клъстер, писане на приложения Spark използвайки Python, Java, Scala

Обяснете на Python например, Показване на инсталиране на искра, Обяснение на програмата на драйвера, Обясняване на контекста на искри с пример, Определяне на слабо написана променлива, Комбиниране на scala и java безпроблемно, Обясняване на едновременност и разпространение. Scheduler, Предимства на Spark, Пример за Lamda с използване на искра, Обяснете Mapreduce с пример

Настройка и текуща карта на Hadoop Cluster Намалете работните места

Настройка на клъстера с множество възли с помощта на Amazon ec2 - Създаване на 4 настройка на клъстера на възли, Работеща карта Намаляване на работни места на клъстер

Основен проект - сглобяване и свързване на точки

Включване на всички заедно и Свързване на точки, Работа с големи набори от данни, Стъпки, свързани с анализирането на големи данни

ETL свързаност с екологичната система Hadoop

Как работят ETL инструментите в големи данни Индустрия, Свързване към HDFS от ETL инструмент и преместване на данни от локална система в HDFS, Преместване на данни от СУБД до HDFS, Работа с кошера с ETL инструмент, Създаване на карта Намаляване на работата в ETL инструмент, End to End ETL PoC показва голяма интеграция с ETL инструмента.

Конфигурация на клъстера

Преглед на конфигурацията и важен конфигурационен файл, конфигурационни параметри и стойности, параметри на HDFS MapReduce параметри, настройка на средата Hadoop, конфигурационни файлове "Включване" и "изключване", Lab: MapReduce Performance Tuning

Администрация и поддръжка

Namenode / Datanode директория структури и файлове, изображение на файловата система и редактиране на дневника, процедурата Checkpoint, Namenode провал и процедура за възстановяване, Safe Mode, метаданни и архивиране на данни, потенциални проблеми и решения / какво да търсите, добавяне и премахване на възли, Lab: MapReduce Файлова система Възстановяване

Мониторинг и отстраняване на неизправности

Най-добри практики за мониторинг на клъстер, Използване на логове и следи от стекове за мониторинг и отстраняване на проблеми, Използване на инструменти с отворен код за наблюдение на клъстера

Работодател: Карта намалява потока от подаване на задания

Как да планирате работни места в един и същ клъстер, FIFO Schedule, Fair Scheduler и неговата конфигурация

Настройка на клъстер с множество възли и текуща карта Намаляване на заданията за Amazon Ec2

Настройка на клъстера с множество възли с помощта на Amazon ec2 - Създаване на 4 настройка на клъстера на възли, Работеща карта Намаляване на работни места на клъстер

Zookeeper

ZOOKEEPER Въведение, ZOOKEEPER услуги, ZOOKEEPER услуги, ZOOKEEPER данни модел, Znodes и неговите видове, Znodes операции, Znodes часовници, Znodes чете и пише, гаранции за съгласуваност, управление на клъстера, Leader Election, Distributed Exclusive Lock,

Advance Oozie

Защо Oozie ?, Инсталиране на Oozie, Изпълнение на пример, Oozie-workflow, Пример M / R действие, Пример за Word Count, Workflow приложение, Workflow подаване, преходи на работния процес, Oozie работа, Oozie сигурност, Защо Oozie сигурност? , Много наемане и мащабируемост, времева линия на заданието Oozie, координатор, пакет, слоеве на абстракция, архитектура, използване на случай 1: времеви тригери, използване на случай 2: данни и време за задействане,

Advance Flume

Преглед на Apache Flume, Физически разпределени източници на данни, Промяна на структурата на данните, По-близък външен вид, Анатомия на флума, Основни концепции, Събития, Клиенти, Агенти, Източник, Канали, Мивки, Прекъсвачи, Селектор на канали, Мивка процесор , Транзакционен обмен на данни, Маршрутизиране и репликация, Защо канали ?, Използване на случая- Агрегиране на регистрационни файлове, Добавяне на агент за запълване, Работа със сървърна ферма, Обем на данни за агент, Пример, описващ разгръщането на единичен възел

Advance HUE

HUE въвеждането, HUE екосистемата, Какво е HUE ?, HUE реалния свят оглед, Предимства на HUE, Как да качите данни в File Browser ?, Преглед на съдържанието, интегриране на потребители, интегриране HDFS, Основи на HUE FRONTEND

Advance Impala

IMPALA Общ преглед: Цели, Потребителски изглед на Impala: SQL, Потребителски изглед на Impala: Apache HBase, Impala архитектура, Impala държавен магазин, Impala каталожна услуга, Фази на изпълнение Query, Сравняване Impala с кошера

Тестване на приложенията на Hadoop

Защо тестването е важно, Тестване на единица, Тестване на интеграцията, Тестване на ефективността, Диагностика, Нощен QA тест, Benchmark и окончателни тестове, Функционални тестове, Тестване за сертифициране на пускането на пазара, Тестване на сигурността, Тестване на скалируемост, Въвеждане в експлоатация и извеждане от експлоатация на тестовете за възли на данни , Тест за освобождаване

Роли и отговорности на Hadoop Testing Professional

(HDFS, HIVE, HBASE), за да се разбере необходимостта от подготовка на тестовата оценка, тестови казуси, тестови данни, създаване на тестово легло, тестване, докладване на дефекти, повторно тестване на дефектите. (групи, потребители, привилегии и т.н.), докладване на дефекти на екипа или мениджъра по разработка, както и управление на движението да ги затворите, да консолидирате всички дефекти и да създадете доклади за дефекти, да валидирате нови функции и проблеми в Core Hadoop.

Рамката, наречена MR Unit за тестване на програми за намаляване на картата

Отчетете дефекти на екипа или мениджъра за разработка и ги принудете да ги затворите, да консолидирате всички дефекти и да създадете отчети за дефекти, отговорни за създаването на тестова рамка, наречена MR Unit за тестване на програми за намаляване на картата.

Тестване на единица

Тестване на автоматизацията, използвайки OOZIE, Удостоверяване на данни чрез инструмента за увеличаване на заявката.

Изпълнение на теста

План за изпитване за обновяване на HDFS, автоматизация на тестовете и резултати

Стратегия за тестване и писане на тестови случаи за тестване на приложението Hadoop

Как да тествате инсталирането и конфигурирането

Подкрепа за работа и сертифициране

Съвети и насоки за сертифициране на Cloudera и подготвяне на интервю, практически съвети и техники за развитие

Моля, пишете ни на адрес info@itstechschool.com & свържете се с нас на + 91-9870480053 за цената на курса и разходите за сертифициране, график & местоположение

Дайте ни запитване

Този курс на обучение е предназначен да ви помогне да изчистите и двете Клардера Спарк и сертификат за разработчици на Hadoop (CCA175) изпит и Сертифициран администратор от Клаудъра за Apache Hadoop (CCAH) изпит. Цялото съдържание на курса за обучение е в съответствие с тези две сертификационни програми и ви помага да изчистите тези изпити за сертифициране с лекота и да получите най-добрите работни места в най-големите МНК.

Като част от това обучение ще работите по проекти и задачи в реално време, които имат огромно значение за сценария на индустрията в реалния свят, като по този начин ви помагат бързо да проследите кариерата си без усилия.

В края на тази тренировъчна програма ще има викторини, които отлично отразяват типа на зададените въпроси в съответните сертификационни изпити и ви помагат да постигнете по-добри оценки в сертификационния изпит.

Сертификат за завършване на курса ще се присъждат при завършване на работата по проекта (на експертен преглед) и при отчитане на най-малко 60% марки в теста. Сертификатът Intellipaat е добре познат в топ 80 + MNC като Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware и др.

За повече информация любезно Свържете се с нас.


Отзиви