ТипОбучение в классах
РЕГИСТР

Свяжитесь с нами

Поля, отмеченные * требуется

 

Курс сертификации больших данных hasoop

Сертификация и сертификация больших данных Hadoop

Обзор

Аудитория и предварительные условия

Содержание курса

Расписание и сборы

Сертификация

Обзор курсов сертификации Hadoop

Это всеобъемлющий учебный курс Hadoop Big Data, разработанный отраслевыми экспертами, который рассматривает текущие требования к работе в отрасли, чтобы обеспечить углубленное изучение больших данных и модулей Hadoop. Это отраслевой признанный учебный курс по сертификации данных, который представляет собой комбинацию учебных курсов в Hadoop-разработчике, администраторе Hadoop, тестировании Hadoop и аналитике. Эта Cloudera Обучение Hadoop подготовит вас к тому, чтобы очистить большую сертификацию данных.

Цели

  • Основные основы Hadoop 2.7 и YARN и использование приложений с их использованием
  • Настройка псевдо-узла и кластера с несколькими узлами на Amazon EC2
  • Мастер HDFS, MapReduce, Hive, Pig, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Изучите Spark, Spark RDD, Graphx, MLlib, пишущие приложения Spark
  • Основные действия администратора Hadoop, такие как управление кластерами, мониторинг, администрирование и устранение неполадок
  • Настройка инструментов ETL, таких как Pentaho / Talend, для работы с MapReduce, Hive, Pig и т. Д.
  • Подробное понимание аналитики больших данных
  • Hadoop с использованием MR Unit и других средств автоматизации.
  • Работа с форматами данных Avro
  • Практика реальных проектов с использованием Hadoop и Apache Spark
  • Удостоверьтесь в том, чтобы очистить сертификацию HADOOD.

Целевая аудитория

  • Разработчики программного обеспечения и системные администраторы
  • Опытные рабочие специалисты, руководители проектов
  • Крупные разработчики DataHadoop стремятся изучать другие вертикали, такие как тестирование, аналитика, администрирование
  • Специалисты в области мэйнфреймов, архитекторы и специалисты по тестированию
  • Специалисты по бизнес-аналитике, хранилищу данных и аналитике
  • Выпускники, магистранты, желающие изучить новейшие технологии Big Data, могут пройти онлайн-обучение по данным Big Data Hadoop Certification

Предпосылки

  • Существует никаких предварительных условий, чтобы взять эту Большую подготовку данных и освоить Hadoop. Но основы UNIX, SQL и java были бы хороши. В Intellipaat мы предоставляем бесплатный курс unix и Java с нашим сертификационным сертификатом Big Data, чтобы раскрыть необходимые навыки, чтобы вы хорошо относились к вашему пути обучения Hadoop.

Продолжительность курса: 2 Days

Введение в Big Data & Hadoop и его экосистему, уменьшение карты и HDFS

Что такое большие данные, где находится Hadoop, распределенная файловая система Hadoop - репликация, размер блока, вторичный Namenode, высокая доступность, понимание YARN - ResourceManager, NodeManager, разность между 1.x и 2.x

Установка и настройка Hadoop

Архитектура кластера Hadoop 2.x, федерация и высокая доступность, типичная производственная кластерная настройка, Hadoop-кластерные режимы, общие команды оболочки Hadoop, файлы конфигурации Hadoop 2.x, кластер Cloudera Single node

Глубокое погружение в Mapreduce

Как работает Mapreduce, как работает редуктор, как работает драйвер, комбайнеры, разделители, входные форматы, форматы вывода, сортировка в случайном порядке и сортировка, присоединение к Mapside, уменьшение боковых соединений, MRUnit, распределенный кеш

Лабораторные упражнения:

Работа с HDFS, Написание WordCount Program, Написание пользовательского разделителя, Mapreduce с Combiner, Присоединение к карте, Уменьшение боковых соединений, Тестирование модулей Mapreduce, Запуск Mapreduce в LocalJobRunner Mode

Решение проблем с графами

Что такое графическое представление, представление графа, первый алгоритм поиска по ширине, представление графика уменьшения карты, как сделать алгоритм графа, пример диаграммы карты Уменьшить,

    Упражнение 1: Упражнение 2: Упражнение 3:

Детальное понимание свиньи

A. Введение в свиньи

Понимание Apache Pig, особенностей, различных применений и обучения взаимодействию с Pig

B. Развертывание Свинья для анализа данных

Синтаксис Pig Latin, различные определения, сортировка и фильтрация данных, типы данных, развертывание Свинья для ETL, загрузка данных, просмотр схемы, определения полей, обычно используемые функции.

C. Свинья для комплексной обработки данных

Различные типы данных, включая вложенные и сложные, обработку данных с помощью Pig, сгруппированные итерации данных, практические упражнения

D. Выполнение операций с несколькими данными

Объединение набора данных, разделение набора данных, различные методы объединения данных, операции набора, практические упражнения

E. Расширение свиней

Понимание функций, определенных пользователем, выполнение обработки данных с использованием других языков, импорт и макрос, использование потоков и UDF для расширения Pig, практические упражнения

F. Свинья Вакансии

Работа с реальными наборами данных с участием Walmart и Electronic Arts в качестве примера

Детальное понимание улья

A. Hive - Обзор

Понимание Hive, сравнение традиционных баз данных с Hive, сравнение Pig и Hive, хранение данных в схеме Hive и Hive, взаимодействие Hive и различные варианты использования Hive

B. Hive для анализа реляционных данных

Понимание HiveQL, базового синтаксиса, различных таблиц и баз данных, типов данных, объединения наборов данных, различных встроенных функций, развертывания запросов Hive на скриптах, оболочке и Hue.

C. Управление данными с помощью Hive

Различные базы данных, создание баз данных, форматов данных в Hive, моделирование данных, управляемые таблицами, таблицы самообслуживания, загрузка данных, изменение баз данных и таблиц, упрощение запросов с помощью представлений, сохранение результатов запросов, управление доступом к данным, управление данными с Hive, Hive Metastore и Thrift сервером.

D. Оптимизация улья

Изучение производительности запроса, индексации данных, разбиения на разделы и балансировки

E. Расширение улья

Развертывание пользовательских функций для расширения Hive

F. Руки на упражнениях - работа с большими наборами данных и обширным запросом

Развертывание Hive для огромных объемов наборов данных и большого количества запросов

G. UDF, оптимизация запросов

Широко работает с пользовательскими запросами, изучает, как оптимизировать запросы, различные методы настройки производительности.

Impala

A. Введение в Импалу

Что такое Impala ?, Как Impala отличается от улья и свиньи, как Impala отличается от реляционных баз данных, ограничений и будущих направлений, используя Impala Shell

B. Выбор лучшего (Улей, Свиньи, Импала)

C. Моделирование и управление данными с помощью Impala и Hive

Обзор хранилищ данных, создание баз данных и таблиц, загрузка данных в таблицы, HCкаталог, кэширование метаданных Impala

D. Разделение данных

Обзор разделов, Разделение в Импале и Улье

(AVRO) Форматы данных

Выбор формата файла, поддержка инструментов для форматов файлов, схемы Avro, использование Avro с улей и Sqoop, эволюция схемы Avro, сжатие

Введение в архитектуру Hbase

Что такое Hbase, где он подходит, что такое NOSQL

Apache Spark

A. Почему искра? Работа с распределенной файловой системой Spark и Hadoop

Что такое искры, сравнение искры и Hadoop, компоненты искры

B. Компоненты искры, общие алгоритмы искры - итерационные алгоритмы, анализ графов, машинное обучение

Apache Spark - введение, согласованность, доступность, разделение, единый стек Spark, компоненты искры, пример Scalding, mahout, storm, graph

C. Запуск Spark в кластере, запись приложений Spark с использованием Python, Java, Scala

Объясните пример python, Покажите установку искры, Объясните программу драйвера, Объясните контекст искры с примером, Определите слабо типизированную переменную, Объедините scala и java без проблем, Объясните параллелизм и распределение. Объясните, что является признаком, Объясните функцию более высокого порядка с примером, Определите OFI планировщик, Преимущества Spark, Пример Lamda с использованием искры, Объяснение Mapreduce с примером

Настройка кластеров Hadoop и рабочая карта

Настройка кластера с несколькими узлами с помощью Amazon ec2 - Создание установки кластера узлов 4, Работа с картой Уменьшение рабочих мест в кластере

Основной проект - объединение всех этих элементов и подключение точек

Соединять все вместе и подключать точки, работать с большими наборами данных. Шаги, связанные с анализом больших данных

Подключение к ETL с экосистемой Hadoop

Как работают инструменты ETL в большой отрасли данных, подключение к HDFS с помощью инструмента ETL и перенос данных из локальной системы в HDFS, перенос данных из СУБД в HDFS, работа с улей с помощью инструмента ETL, создание карты Уменьшить задание в инструменте ETL, от конца до конца ETL PoC демонстрирует большую интеграцию данных с инструментом ETL.

Конфигурация кластера

Обзор конфигурации и важный файл конфигурации, параметры и значения конфигурации, параметры HDFS Параметры MapReduce, настройка среды Hadoop, файлы конфигурации «Включить» и «Исключить», Лаборатория: Настройка производительности MapReduce

Администрирование и обслуживание

Структуры и файлы каталогов Namenode / Datanode, Изображение файловой системы и журнал изменений, Процедура контрольной точки, Способ отказа и восстановления Namenode, Безопасный режим, резервное копирование метаданных и данных, Потенциальные проблемы и решения / Что искать, Добавление и удаление узлов, Лабораторная работа: MapReduce Восстановление файловой системы

Мониторинг и устранение проблем

Рекомендации по мониторингу кластера, Использование журналов и трассировки стека для мониторинга и устранения неполадок, Использование инструментов с открытым исходным кодом для мониторинга кластера

Планировщик заданий: карта уменьшает поток подачи заявки

Как планировать задания в одном кластере, расписание FIFO, плановый планировщик и его конфигурацию

Настройка кластера с несколькими узлами и работа с картой Сокращение рабочих мест на Amazon Ec2

Настройка кластера с несколькими узлами с помощью Amazon ec2 - Создание установки кластера узлов 4, Работа с картой Уменьшение рабочих мест в кластере

РАБОТНИК ЗООПАРКА

ZOOKEEPER Введение, примеры ZOOKEEPER, ZOOKEEPER, модель ZOOKEEPER, Znodes и ее типы, операции Znodes, часы Znodes, считывания и записи Znodes, гарантии последовательности, управление кластерами, выборы лидера, распределенный эксклюзивный замок, важные моменты

Advance Oozie

Почему Oozie ?, Установка Oozie, запуск примера, движок Oozie-workflow, пример действия M / R, пример примера Word, приложение Workflow, представление рабочего процесса, переходы состояния рабочего процесса, обработка заданий Oozie, безопасность Oozie, почему безопасность Oozie ?, представление задания , Многоуровневая аренда и масштабируемость, Временная линия задания Oozie, Координатор, Bundle, Уровни абстракции, Архитектура, Использование Case 1: триггеры времени, Use Case 2: триггеры данных и времени, Use Case 3: окно перехода

Продвинутый фланец

Обзор Apache Flume, Физически распределенные источники данных, Изменение структуры данных, Ближайший взгляд, Анатомия дыма, Основные понятия, Событие, Клиенты, Агенты, Источник, Каналы, Раковины, Перехватчики, Селектор каналов, Процессор стока, Подача данных, Конвейер , Транзакционный обмен данными, Маршрутизация и репликация, Почему каналы ?, Использовать агрегирование Case-Log, Добавление агента потока, Обработка фермы серверов, Объем данных для одного агента, Пример описания развертывания лотка одного узла

Advance HUE

HUE-введение, HUE-экосистема, Что такое HUE ?, HUE real world view, Преимущества HUE, Как загрузить данные в File Browser ?, Просмотр содержимого, Интеграция пользователей, Интеграция HDFS, Основы HUE FRONTEND

Advance Impala

Обзор IMPALA: цели, представление пользователя Impala: обзор, представление пользователя Impala: SQL, представление пользователя Impala: Apache HBase, архитектура Impala, государственный магазин Impala, сервис каталога Impala, фазы выполнения запросов, сравнение Impala to Hive

Тестирование приложений Hadoop

Почему важно тестирование, тестирование модулей, Интеграционное тестирование, Тестирование производительности, Диагностика, Тестирование на ночное время, Тесты и тесты конца, Функциональное тестирование, Тестирование сертификатов выпуска, Тестирование безопасности, Тестирование масштабируемости, Ввод в эксплуатацию и снятие с эксплуатации тестирования узлов данных, Проверка надежности , Тестирование релиза

Роли и обязанности профессионала Hadoop Testing

Понимание требования, подготовка оценки тестирования, тестовых случаев, тестовых данных, создание тестового постели, тестовое исполнение, отчет о дефектах, проверка дефектов, доставка отчетов о ежедневном статусе, завершение тестирования, тестирование ETL на каждом этапе (HDFS, HIVE, HBASE), в то время как загружать входные данные (журналы / файлы / записи и т. д.) с использованием sqoop / flume, который включает, но не ограничиваясь проверкой данных, Согласованием, авторизацией пользователя и проверкой подлинности (Группы, Пользователи, Привилегии и т. д.), Сообщать об ошибках команде разработчиков или менеджерам и вождению их закрытие, Консолидация всех дефектов и создание отчетов о дефектах, Проверка новой функции и проблем в Core Hadoop.

Рамки под названием MR Unit для тестирования программ сокращения карт

Сообщать об ошибках команде разработчиков или менеджерам и сводить их к закрытию, консолидировать все дефекты и создавать отчеты о дефектах. Отвечает за создание тестовой платформы под названием MR Unit для тестирования программ Map-Reduce.

Тестирование устройства

Автоматизация тестирования с использованием OOZIE, Проверка данных с помощью инструмента перенаправления запросов.

Тестирование

План тестирования для обновления HDFS, автоматизация тестирования и результат

Стратегия тестирования и составление тестовых примеров для тестирования приложения Hadoop

Как проверить установку и настройку

Поддержка работы и сертификации

Советы и рекомендации по сертификации Cloudera и подготовка к макету интервью, советы и методы практического развития

Пожалуйста, напишите нам по адресу info@itstechschool.com & свяжитесь с нами по адресу + 91-9870480053 по стоимости и расценкам на курс, по расписанию и местоположению

Отбросьте запрос

Этот учебный курс разработан, чтобы помочь вам очистить оба Сертификация разработчика Cloudera Spark и Hadoop (CCA175) экзамен и Сертифицированный администратор Cloudera для Apache Hadoop (CCAH) экзамен. Весь учебный курс соответствует этим двум программам сертификации и помогает вам легко справляться с этими сертификационными экзаменами и получать лучшие рабочие места в лучших MNC.

В рамках этого тренинга вы будете работать над проектами и заданиями в реальном времени, которые имеют огромное влияние на сценарий реального мира, что поможет вам быстро отслеживать свою карьеру без усилий.

В конце этой учебной программы будут викторины, которые отлично отражают тип вопросов, заданных в соответствующих сертификационных экзаменах, и помогут вам получить лучшие оценки в сертификационном экзамене.

Сертификат завершения курса будет присуждаться по завершении Проектной работы (по экспертизе) и при подсчете по меньшей мере 60% баллов в викторине. Сертификация Intellipaat хорошо известна в лучших 80 + MNC, таких как Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware и т. Д.

Для получения дополнительной информации любезно Связаться с Нами


Отзывы