типНавчання в класах
ЗАРЕЄСТРУВАТИСЯ

великі дані hadoop сертифікаційний курс

Курс підготовки великих даних Hadoop сертифікації та навчання

огляд

Аудиторія та передумови

Схема курсу

Розклад та комісії

сертифікація

Огляд курсу сертифікації великих даних Hadoop

Це комплексний навчальний курс Hadoop Big Data, розроблений фахівцями галузі, які враховують поточні вимоги до роботи в галузі, щоб забезпечити поглиблене вивчення великих даних та модулів Hadoop. Це галузевий навчальний курс із сертифікації Big Data, який є комбінацією навчальних курсів у розробника Hadoop, адміністратора Hadoop, тестуванні Hadoop та аналітики. Це Cloudera Навчання Hadoop підготує вас до очищення великої сертифікації даних.

Цілі

  • Основні основи Hadoop 2.7 та YARN та написання програм, що їх використовують
  • Налаштування кластера псевдоузел і багато вузлів на Amazon EC2
  • Master HDFS, MapReduce, Hive, Pig, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Дізнайтеся, як застосовувати Spark, Spark RDD, Graphx, MLlib
  • Основні адміністративні функції Hadoop, такі як управління кластерами, моніторинг, адміністрування та усунення несправностей
  • Налаштування інструментів ETL, таких як Pentaho / Talend, для роботи з MapReduce, Hive, Pig та ін
  • Детальне розуміння аналізу Big Data
  • Hadoop-тестування програм з використанням MR Unit та інших засобів автоматизації.
  • Робота з форматами даних Avro
  • Практикуйте реальні проекти, використовуючи Hadoop і Apache Spark
  • Будьте обладнані для очищення Сертифікації Big Data Hadoop.

Цільова аудиторія

  • Розробники програмного забезпечення та системні адміністратори
  • Досвідчені працівники, менеджери проектів
  • Великі розробники DataHadoop хочуть вивчати інші вертикалі, такі як Тестування, Аналітика, Адміністрування
  • Професіонали спеціалістів, спеціалістів з архітектури та тестування
  • Бізнес-аналітика, сховища даних та спеціалісти з аналітики
  • Випускники, аспіранти, які бажають вивчити новітні технології Big Data, можуть взяти участь в онлайн-тренінгу Big Data Hadoop Certification

Передумови

  • Немає необхідності брати участь у цьому Великому навчанні даних і освоїти Hadoop. Але основи UNIX, SQL та java були б добре. У Intellipate ми пропонуємо безкоштовний курс Unix і Java із нашою командою з сертифікації Big Data, щоб поглибити необхідні навички, щоб вам було добре в дорозі Hadoop.

Course Outline Duration: 2 Days

Введення в Big Data & Hadoop та його екосистеми, зменшення мапи та HDFS

Що таке Big Data, де Hadoop поміщається, Hadoop розподіленої файлової системи - тиражування, розмір блоку, вторинний набір імен, висока доступність, розуміння YARN - ResourceManager, NodeManager, різниця між 1.x та 2.x

Hadoop Установка та налаштування

Hadoop 2.x кластерна архітектура, федерація та висока доступність, налаштування типового виробничого кластеру, режими кластера Hadoop, загальні командні команди Hadoop, файли конфігурації Hadoop 2.x, кластер Single Vertex Cloudera

Глибокий занурення в Mapreduce

Як працює програма «Зниження масштабу», «Як працює програма« Редактор »,« Як працює драйвер »,« Комбінатори »,« Розбивачі »,« Формати введення »,« Формати виведення »,« Перемішувати та сортувати »,« Об'єднати »у Mapside, зменшити приєднання до боків,« MRUnit », розподілений кеш

Лабораторні вправи:

Робота з HDFS, написання програми WordCount, написання користувальницького розділу, Mapreduce з комбінатором, сторонне приєднання до карти, зменшення бокових з'єднань, тестування на одиницю, зменшення масштабу, запуск масштабування в режимі LocalJobRunner

Графік вирішення проблем

Що таке графік, представлення графів, перший алгоритм пошуку ширини, графічне представлення мапи зменшення, алгоритм графіка, приклад зменшення графічної карти,

    Вправа 1: Вправу 2: Вправа 3:

Детальне розуміння Свини

A. Введення в Свині

Розуміння Apache Pig, функції, різного роду використання та навчання для взаємодії з Pig

B. Розгортання свиней для аналізу даних

Синтаксис Сінгапурської латиниці, різні визначення, сортування та фільтрування даних, типи даних, розгортання Pig для ETL, завантаження даних, перегляд схеми, визначення полів, звичайно використовувані функції.

C. Свині для комплексної обробки даних

Різні типи даних, включаючи вкладені та складні, дані обробки з Pig, ітерація групованих даних, практичні заняття

D. Performing multi-dataset operations

Встановлення набору даних, розбиття набору даних, різні методи для об'єднання набору даних, задані операції, практичні заняття

E. Розширення свиней

Розуміння визначених користувачем функцій, виконання обробки даних іншими мовами, імпорт та макроси, використання потокового та UDF для розширення Свини, практичні вправи

F. Pig Jobs

Робота з реальними наборами даних, що включають Walmart та Electronic Arts як приклад дослідження

Детальне розуміння вулика

A. Введення врожаю

Розуміння вуликів, порівняння традиційних баз даних зі станом, свиней та вуликів, зберігання даних у схемі "Стався на вулиці" та "Хіві", взаємодію вуликів та різні випадки використання вуликів

B. Тупля для аналізу реляційних даних

Розуміння HiveQL, базового синтаксису, різних таблиць і баз даних, типів даних, підключення набору даних, різних вбудованих функцій, розгортання запитів Hive на скрипти, оболонку та відтінку.

C. Управління даними з вуликом

Різні бази даних, створення баз даних, формати даних у вулику, моделювання даних, таблиць, керовані Hive, самостійно керовані таблиці, завантаження даних, зміна баз даних та таблиць, спрощення запитів з представленнями, збереження результатів запитів, контроль доступу до даних, управління даними з вуликом, Hive Metastore і Thrift сервером.

D. Оптимізація вулика

Вивчення продуктивності запиту, індексації даних, розбиття на розділи та переміщення

E. Розширення вулика

Розгортання користувацьких функцій для розширення вулика

F. Практичні вправи - робота з великими наборами даних та великими запитами

Розгортання вулика для величезних обсягів наборів даних та великої кількості запитів

G. UDF, оптимізація запитів

Працюючи над користувальницькими запитами, вивчаючи, як оптимізувати запити, різні методи для налаштування продуктивності.

Impala

A. Введення в Impala

Що таке Impala ?, Як Impala відрізняється від вуликів та свиней, як Impala відрізняється від реляційних баз даних, обмежень і майбутніх напрямків, використовуючи Impala Shell

B. Вибір найкращого (вулик, свиня, імпала)

C. Моделювання та управління даними з імпала та вулика

Огляд сховища даних, створення баз даних та таблиць, завантаження даних в таблиці, каталогізація каталогу, кешування метаданих Impala

D. Розбиття даних

Огляд розділів, розділення в Impala і вулик

(AVRO) форматів даних

Вибір формату файлу, Підтримка інструментів для форматів файлів, Схеми Avro, Використання Avro з Hive та Sqoop, Еволюція Avro Schema, Стиснення

Вступ до архітектури Hbase

Що таке Hbase, де це підходить, Що таке NOSQL

Apache Spark

А. Чому іскра? Робота з розподіленою файловою системою Spark та Hadoop

Що таке Іскр, порівняння Іскра та Hadoop, компоненти Іскра

B. Іскрова компоненти, загальні іскрові алгоритми-ітераційні алгоритми, аналіз графів, машинного навчання

Apache Spark - Вступ, Послідовність, Наявність, Розділ, Єдина Спаркова Іскра, Іскрова Компоненти, Приклад плісняви, Мауот, Буря, Графік

C. Запуск іскри на кластер, написання іскр додатків, використовуючи Python, Java, Scala

Поясніть приклад python, Покажіть встановлення іскри, Поясніть драйвер, Пояснення контексту іскри, наприклад, Визначте слабко введену змінну, Об'єднайте скалу та Java, Просліджуйте паралельність та розподіл. Поясніть, що таке ознака, Поясніть функцію вищого порядку, наприклад, Define CFI. планувальник, переваги іскри, приклад використання ламд, використовуючи іскру, пояснити, як зменшити картину на прикладі

Налаштування кластера Hadoop і запуск карт зменшують вакансії

Налаштування Multi Node Cluster з використанням Amazon ecxnumx - Створення наборів кластерів 2, запуск картки Зменшення робочих місць у кластері

Основний проект - "Встановлення всього разом" та "Підключення точок"

Встановлення всього цього разом і підключення точок, робота з великими наборами даних, кроки, що беруть участь у аналізі великих даних

З'єднання ETL з екосистемою Hadoop

Як інструменти ETL працюють у галузі обробки великих даних, під'єднання до HDFS з інструмента ETL та переміщення даних з локальної системи в HDFS, переміщення даних з СУБД в HDFS, робота з вуликом за допомогою інструмента ETL, створення карти, зменшення роботи в інструменті ETL, кінець кінця ETL PoC показує велику інтеграцію даних із інструментом ETL.

Конфігурація кластера

Огляд конфігурації та важливий файл конфігурації, параметри та значення параметрів конфігурації, параметри HDFS, Параметри MapReduce, налаштування середовища Hadoop, файли конфігурації «Включити» та «Виключити», Lab: налаштування продуктивності MapReduce

Адміністрування та технічне обслуговування

Namenode / Datanode структури каталогів та файли, зображення файлової системи та Редагувати журнал, процедура перевірки, процедура відмови та відновлення з назвою Namenode, безпечний режим, метадані та резервне копіювання даних, потенційні проблеми та рішення / що шукати, додавання та видалення вузлів, лабораторія: MapReduce Відновлення файлової системи

Моніторинг та усунення несправностей

Кращі практики моніторингу кластера, Використання журналів та слідів стеки для моніторингу та усунення неполадок. Використання інструментів відкритого джерела для контролю кластера.

Планувальник роботи: карта зменшує потік подання робіт

Як запланувати роботу на одному кластері, графік FIFO, Fair Planner та його конфігурація

Налаштування багатоступінчастих кластерів та запуск картки зменшують вакансії на Amazon Ec2

Налаштування Multi Node Cluster з використанням Amazon ecxnumx - Створення наборів кластерів 2, запуск картки Зменшення робочих місць у кластері

Зозулятор

ZOOKEEPER Введення, ZOOKEEPER використання випадків, ZOOKEEPER послуги, ZOOKEEPER дані моделі, Znodes та його типів, операції Znodes, годинники Znodes, Znodes читає та пише, Гарантії послідовності, управління кластерами, Leader вибори, розподілений ексклюзивний Lock, важливі моменти

Advance Oozie

Чому Oozie ?, Встановлення Oozie, Запуск прикладу, Oozie-двигун робочого процесу, Приклад дій M / R, Приклади кількості записів Word, Приклад робочого процесу, Передача робочого процесу, Переходи стану робочого процесу, Обробка завдання Oozie, Захист Oozie, Чому захист Oozie? , Multi renting and scalability, Часовий рядок роботи Oozie, Координатор, Bundle, Шари абстракції, Архітектура, Використання Case 1: тригери часу, Використовуйте Case 2: тригери даних і часу, Використовуйте Case 3: прокат вікна

Авансовий флюм

Огляд Apache Flume, Фізично розподілені джерела даних, Зміна структури даних, Ближчий вигляд, Анатомія Flume, Основні поняття, Подія, Клієнти, Агенти, Джерело, Канали, Радіатори, Перехоплювачі, Перемикач каналів, Процесор для миття, Збір даних, Контейнер для агента , Обмін транзакційними даними, Маршрутизація та реплікація, Чому канали ?, Використовувати справи - Агрегація журналу, Додавання агента Flume, Обробка серверної ферми, Обсяг даних на агент, Приклад, що описує розгортання Flume одного вузла

Просунути HUE

Вступ HUE, екосистема HUE, Що таке HUE ?, HUE реальний погляд на світ, переваги HUE, як завантажити дані в браузері файлів ?, Перегляд вмісту, Інтеграція користувачів, Інтеграція HDFS, Основи HUE FRONTEND

Аванс Impala

Огляд IMPALA: цілі, перегляд користувача Impala: Огляд, Погляд користувача Impala: SQL, Користувацький перегляд Impala: Apache HBase, Архітектура Impala, Інтернет-магазин Impala, Служба каталогів Impala, Фази виконання запиту, Порівняння Impala до вуликів

Тестування додатків Hadoop

Чому тестування важливе? Тестування на одиницю, тестування інтеграції, тестування продуктивності, діагностика, перевірка якості на ніч, тестування на тестування, тестування та закінчення випробувань, функціональне тестування, випробування на сертифікацію, тестування на безпеку, тестування масштабованості, введення в експлуатацію та виведення з експлуатації вузлів даних, тестування надійності , Випуск тестування

Ролі та обов'язки професійного тестування Hadoop

Розуміння вимог, підготовка тестової оцінки, тестових випадків, тестових даних, створення випробувального шару, тестування, дефектне звітування, повторення дефектів, доставка звіту щоденного стану, завершення тестування, тестування ETL на кожному етапі (HDFS, HIVE, HBASE), поки завантаження вхідного файлу (журналів / файлів / записів тощо) із використанням sqoop / flume, що включає, але не обмежується, перевірку даних, узгодження, тестування авторизації користувачів та перевірки автентичності (групи, користувачі, привілеї тощо); повідомлення про дефекти команди розробника або менеджера та керування їх закриття, консолідація всіх недоліків та створення звітів про дефекти, перевірка нової функції та проблем у Core Hadoop.

Рамки називаються MR Unit для тестування карт-зменшення програм

Повідомте про дефекти команді розробників або менеджеру та залучіть їх до закриття. Об'єднайте всі недоліки та створіть звіти про дефекти, Відповідаючи за створення системи тестування під назвою MR Unit для тестування програм Map-Reduce.

Тестування одиниць

Тестування автоматизації за допомогою OOZIE, перевірка даних за допомогою інструменту сплеску запитів.

Тестування

План тестування на оновлення HDFS, автоматизація тестів і результат

Стратегія тестового плану та написання тестових прикладів для тестування програми Hadoop

Як протестувати встановлення та налаштування

Підтримка роботи та сертифікації

Поради та рекомендації з сертифікації Cloudera, підготовка інтерв'ю, практичні поради та методи розробки

Будь ласка, напишіть нам за адресою info@itstechschool.com & зв'яжіться з нами за номером + 91-9870480053 для курсу ціни та сертифікації, графіка та місце розташування

Залиш нам запит

Цей навчальний курс розроблений, щоб допомогти вам очистити обидва Cloudera Spark та сертифікація розробника Hadoop (CCA175) іспит і Cloudera Certified Administrator для Apache Hadoop (CCAH) іспит Весь вміст навчального курсу відповідає цім двом сертифікаційним програмам і допомагає легко очистити ці сертифікаційні іспити та отримати найкращі роботи в провідних MNC.

У рамках цього тренінгу ви будете працювати над проектами та завданнями в режимі реального часу, які мають величезні наслідки у реальному світі сценарію промисловості, таким чином, допомогти вам швидко відстежити свою кар'єру без зусиль.

Наприкінці цієї навчальної програми будуть проводитися вікторини, які чудово відображатимуть тип запитань, поданих у відповідних сертифікаційних іспитах, і допоможе вам набрати кращі оцінки в сертифікаційному іспиті.

Свідоцтво про закінчення курсу ITS буде нагороджений після завершення роботи Проекту (за експертною оцінкою) та за підрахунком не менше 60% знаків у вікторині. Сертифікація IntelliPate добре відома у провідних компаніях 80 + MNC, таких як Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware тощо.

Для отримання додаткової інформації будь ласка, будь ласка Зв'яжіться з нами.


Відгуки