tipoAdestramento en aula
REXISTRO

gran curso de certificación de hadoop de datos

Curso e formación de certificación Big Data Hadoop

visión global

Audiencia e requisitos previos

Esquema do curso

Horario e tarifas

certificado

Descrición xeral do curso Big Data Hadoop Certification

É un completo curso de formación de Hadoop Big Data deseñado por expertos da industria que considera os requisitos actuais do emprego da industria para proporcionar unha aprendizaxe en profundidade sobre grandes datos e módulos Hadoop. Este é un recoñecido campo de formación de certificación Big Data que é unha combinación dos cursos de formación no desarrollador de Hadoop, o administrador de Hadoop, as probas de Hadoop e as análises. Isto Cloudera O adestramento de Hadoop prepararáche para borrar a certificación de grandes datos.

Obxectivos

  • Fundamentos fundamentais de Hadoop 2.7 e YARN e escribe aplicacións que usan
  • Configurar clúster de pseudo nodo e multi nodos en Amazon EC2
  • Master HDFS, MapReduce, Hive, Pig, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Aprende Spark, Spark RDD, Graphx, MLlib escribindo aplicacións Spark
  • As actividades de administración de Master Hadoop como xestión de grupos, seguimento, administración e resolución de problemas
  • Configurar ferramentas ETL como Pentaho / Talend para traballar con MapReduce, Hive, Pig, etc.
  • Comprensión detallada de Big Data analytics
  • Aplicacións de probas de Hadoop usando MR Unit e outras ferramentas de automatización.
  • Traballa con formatos de datos Avro
  • Practica proxectos de vida real usando Hadoop e Apache Spark
  • Estea equipado para borrar a certificación Big Data Hadoop.

Público-obxectivo

  • Programadores e administradores de sistemas
  • Expertos profesionais traballadores, xestores de proxectos
  • Os desenvolvedores de Big DataHadoop desexan aprender outras versións como Testing, Analytics, Administration
  • Professionals, Arquitectos e Profesionais de Probas de Mainframe
  • Business Intelligence, Data Warehousing e Analytics Professionals
  • Os licenciados que están ansiosos por aprender a última tecnoloxía de Big Data poden levar este adestramento en liña de Certificación Big Data Hadoop

Requisitos previos

  • Non hai ningunha condición necesaria para levar esta formación a grandes datos e dominar a Hadoop. Pero os conceptos básicos de UNIX, SQL e Java serían bos. En Intellipaat, ofrecemos cursos de Unix e Java gratuítos coa nosa formación de certificación de Big Data para desbloquear as habilidades necesarias para que estea ben en ti o camiño de aprendizaxe de Hadoop.

Duración do Esquema do curso: 2 Días

Introdución a Big Data e Hadoop eo seu ecosistema, Mapa Reducir e HDFS

¿Que é Big Data, onde se integra Hadoop ?, Hadoop Distributed File System: réplicas, tamaño de bloque, Namenode secundario, alta disponibilidad, comprensión de fíos - ResourceManager, NodeManager, diferenza entre 1.x e 2.x

Instalación e configuración de Hadoop

Hadoop 2.x Arquitectura Cluster, Federación e Alta Dispoñibilidade, Configuración do Cluster de Produción Típica, Modos de Cluster Hadoop, Comando Hadoop Shell Común, Hadoop 2.x Arquivos de Configuración, Cloudera Clúster de nodos simple

Profundo mergullo en Mapreduce

Como funciona Mapreduce, Como funciona o Reductor, Como funciona o controlador, Combinadores, Particionarios, Formatos de entrada, Formatos de saída, Borrar e ordenar, Combinacións de mapas, Reducir unións laterais, MRUnit, Caché distribuída

Exercicios de laboratorio:

Traballando con HDFS, escribindo o programa WordCount, escribindo partición personalizada, Mapreduce con Combiner, Map Side Join, Reduce Side Joins, Unit Testing Mapreduce, Running Mapreduce en LocalJobRunner Mode

Resolución de problemas gráficos

¿Que é o Gráfico, a Representación do Gráfico, o primeiro algoritmo de busca Breadth, a Representación do Gráfico do Mapa Reducir, como facer o Algoritmo de Gráficos, o Exemplo do Mapa Gráfico Reducir,

    Exercicio 1: Exercicio 2: Exercicio 3:

Comprensión detallada do porco

A. Introdución ao porco

Entendendo Apache Pig, as características, diversos usos e aprendendo a interactuar co Pig

B. Desplegamento do porco para a análise de datos

A sintaxe de Pig Latin, as diversas definicións, ordenación e filtro de datos, tipos de datos, implementación de Pig para ETL, carga de datos, visualización de esquemas, definicións de campo, funcións usadas habitualmente.

C. Porco para o procesamento de datos complexos

Varios tipos de datos incluídos datos anidados e complexos, procesando datos con Pig, iteración de datos agrupados, exercicio práctico

D. Realizar operacións de varios datos

Unificación de datos unidos, división de conxunto de datos, varios métodos para a combinación de conxunto de datos, operacións de configuración, exercicio práctico

E. Extensión do porco

Comprender as funcións definidas polo usuario, realizar o procesamento de datos con outros idiomas, importar e macros, usar streaming e UDF para extender Pig, exercicios prácticos

F. Jobs porcino

Traballando con conxuntos de datos reais que inclúen Walmart e Electronic Arts como caso de estudo

Comprensión detallada da colmea

A. Introdución á colmea

Entendendo Hive, comparación de bases de datos tradicionais coa comparación Hive, Pig e Hive, almacenando datos no esquema Hive e Hive, a interacción Hive e varios casos de uso de Hive

B. Hive para análise relacional de datos

Comprensión de HiveQL, sintaxe básica, varias táboas e bases de datos, tipos de datos, unión de datos, varias funcións incorporadas, despregando consultas Hive en scripts, shell e Hue.

C. Xestión de datos con Hive

As diversas bases de datos, creación de bases de datos, formatos de datos en Hive, modelado de datos, táboas administradas por Hive, táboas autogestionadas, carga de datos, cambio de bases de datos e táboas, simplificación de consulta con Views, almacenamento de resultados de consultas, control de acceso a datos, xestión de datos con Hive, Hive Metastore e Thrift.

D. Optimización da colmea

O rendemento de aprendizaxe da consulta, a indexación de datos, o particionamento eo depósito

E. Extensión da colmea

Desplegando funcións definidas polo usuario para estender Hive

F. Hands on Exercises: traballa con grandes conxuntos de datos e ampla consulta

Implementar Hive por enormes volumes de conxuntos de datos e grandes cantidades de consulta

G. UDF, optimización de consulta

Traballa extensamente con consultas definidas polo usuario, aprendendo a optimizar as consultas, varios métodos para facer a sintonía do rendemento.

Impala

A. Introdución ao Impala

¿Que é Impala ?, Como Impala difire da colmea e do porco, Como Impala difire das bases de datos relacionales, Limitacións e direccións futuras, Usando o Impala Shell

B. Elixindo o mellor (Hive, Pig, Impala)

C. Modelización e xestión de datos con Impala e Hive

Información xeral sobre o almacenamento de datos, Creación de bases de datos e táboas, Cargando datos a táboas, HCatalog, Cacheo de metadatos Impala

D. Particionamento de datos

Partición de información xeral, particionando en Impala e Hive

(AVRO) Formatos de datos

Selección dun formato de ficheiro, soporte de ferramenta para formatos de ficheiros, esquemas Avro, uso de Avro con Hive e Sqoop, evolución Schema Avro, compresión

Introdución á arquitectura Hbase

Que é Hbase, Onde se encaixa, que é NOSQL?

Apache Spark

Por que chispas? Traballando con Spark e Hadoop. Sistema de ficheiros distribuídos

Que hai Spark, comparación entre Spark e Hadoop, Components of Spark

B. Compoñentes de chispas, algoritmos comúns de chispa: algoritmos iterativos, análise gráfica, aprendizaxe automática

Apache Spark- Introdución, consistencia, dispoñibilidade, partición, Spark Stack Unified, Spark Components, Scalding exemplo, mahout, storm, graph

C. Correndo Spark nun Cluster, Escribindo Spark Applications usando Python, Java, Scala

Explicar exemplo de python, Mostrar instalar unha faísca, Explicar o programa de controladores, Explicar o contexto de chiscar cun exemplo, Definir unha variable feblemente mecanografiada, Combinar escalas e java sen problemas, Explicar concurrencia e distribución. Explicar cal é o trazo, Explicar a función de orde superior con exemplo, Definir OFI Planificador, Vantaxes de Spark, Exemplo de Lamda usando faísca, Explicar Mapreduce con exemplo

Hadoop Cluster Setup and Running Map Reduce Jobs

Configuración de clústeres multi nodos usando Amazon ec2 - Creación de configuración de clúster de nodos 4, Mapa de execución Reducir empregos en clúster.

Proxecto principal: poñendo todo e puntos de conexión

Poñer todo isto en conxunto e puntos de conexión, traballar con grandes conxuntos de datos, pasos relacionados coa análise de grandes datos

Conectividade ETL con Hadoop Ecosystem

Como funcionan as ferramentas de ETL na industria de grandes datos, Conectando a HDFS a partir da ferramenta ETL e movendo datos do sistema local a HDFS, Moving Data de DBMS a HDFS, Traballando con Hive coa ferramenta ETL, Creando mapa Reducir o emprego na ferramenta ETL, End to End ETL PoC mostra gran integración de datos coa ferramenta ETL.

Configuración do cluster

Resumo xeral de configuración e ficheiro de configuración importante, parámetros e valores de configuración, parámetros HDFS MapReduce parámetros, configuración Hadoop environment, 'Incluír' e 'Excluir' ficheiros de configuración, Lab: MapReduce Performance Tuning

Administración e mantemento

Estruturas e arquivos do directorio Namenode / Datanode, imaxe do sistema de ficheiros e rexistro de edición, o procedemento Checkpoint, a falla e o proceso de recuperación de Namenode, o Modo seguro, a copia de seguridade de metadatos e datos, problemas e solucións potenciais / o que hai que buscar, Engadir e eliminar nodos, MapReduce Recuperación do sistema de ficheiros

Seguimento e resolución de problemas

Mellores prácticas de seguimento dun clúster, Usar rexistros e trazas de pila para o seguimento e resolución de problemas, Usar ferramentas de código aberto para supervisar o clúster.

Planificador de emprego: o mapa reduce o fluxo de envío de emprego

Como programar Traballos no mesmo cluster, FIFO Schedule, Fair Scheduler ea súa configuración

Configuración de clúster múltiple de nodos e cartafol executivo Reducir traballos en Amazon Ec2

Configuración de clústeres multi nodos usando Amazon ec2 - Creación de configuración de clúster de nodos 4, Mapa de execución Reducir empregos en clúster.

ZOE ECEEPER

ZOEKEPEPER Introdución, ZOOKEEPER, casos de uso, ZOOKEEPER Services, ZOOKEEPER Data Model, Znodes e os seus tipos, Znodes operacións, Znodes reloxos, Znodes le e escribe, Garantías de coherencia, Xestión de clústers, Leader Election, Bloqueo exclusivo distribuído, Puntos importantes

Advance Oozie

Por que Oozie ?, Instalar Oozie, Executar un exemplo, Oozie- motor de fluxo de traballo, exemplo de acción de M / R, exemplo de contador de palabras, aplicación de fluxo de traballo, presentación de fluxos de traballo, transicións de estado de fluxo de traballo, procesamento de emprego de Oozie, seguridade de Oozie, por que a seguridade de Oozie? , Múltiples inquilinos e escalabilidade, Liña de tempo de traballo de Oozie, Coordinador, Paquete, Capas de abstracción, Arquitectura, Caso de uso 1: disparadores de tempo, Use Case 2: datos e disparadores de tempo, Use Case 3: ventá de rolamento

Flume anticipado

Descrición xeral de Apache Flume, Fontes de datos distribuídos físicamente, Cambio de estrutura de datos, Aparencia máis íntima, Anatomía de Flume, Conceptos básicos, Evento, Clientes, Axentes, Fonte, Canles, Fregaderos, Interceptores, Selector de canles, Procesador de fenda, , Interacción de datos transaccionales, Enrutamento e replicación, Por que as canles ?, Use case- Agregación de rexistros, Agregando agregado de flume, Manipulación dunha granxa de servidores, Volumen de datos por axente, Exemplo que describe unha implantación de nodos de nodos.

Advance HUE

Introdución HUE, ecosistema HUE, ¿Que é HUE ?, HUE visión do mundo real, Vantaxes de HUE, Como cargar datos no Explorador de arquivos ?, Ver o contido, Integrar usuarios, Integrar HDFS, Fundamentos de HUE FRONTEND

Advance Impala

IMPALA Visión xeral: Obxectivos, Vista do usuario de Impala: Visión xeral do usuario de Impala: SQL, vista de Impala: Apache HBase, arquitectura Impala, tenda estatal Impala, servizo de catálogos Impala, Fases de execución de consulta, Comparando Impala a Hive

Probas de aplicación de Hadoop

Por que as probas son importantes, probas de unidade, probas de integración, probas de rendemento, diagnósticos, test de QA nocturno, benchmark e probas de fin de final, probas funcionais, probas de certificación de lanzamento, probas de seguridade, proba de escalabilidade, comisionado e desmantelamento de probas de nodos de datos, proba de fiabilidade , Proba de lanzamento

Funcións e responsabilidades de Hadoop Testing Professional

Comprensión do requisito, preparación da estimación de probas, casos de proba, datos de probas, creación de leitos de probas, execución de probas, informe de defectos, reposición de defectos, entrega de informes de estado diario, conclusión de proba, probas ETL en cada etapa (HDFS, Hive, HBASE) cargando a entrada (rexistros / ficheiros / rexistros, etc.) usando sqoop / flume que inclúe, entre outros, a comprobación de datos, reconciliación, autorización de usuario e probas de autenticación (grupos, usuarios, privilexios, etc.), defectos de informe ao equipo de desenvolvemento ou xestor e dirixido lles pechar, consolidar todos os defectos e crear informes de defectos, validar novos recursos e problemas no Core Hadoop.

Marco chamado MR Unidade para probas de programas de redución de mapas

Informar defectos para o equipo ou xerente de desenvolvemento e dirixilos ao peche, Consolidar todos os defectos e crear informes de defectos. Responsable de crear un cadro de probas chamado MR Unit para probas de programas Map-Reduce.

Probas unitarias

Probas de automatización usando a OOZIE, validación de datos mediante a ferramenta de aumento de consulta.

Execución de probas

Plan de proba de actualización de HDFS, automatización de probas e resultado

Plan de proba Estratexia e escritura Casos de proba para probar a aplicación Hadoop

Como probar instalar e configurar

Soporte de traballo e certificación

Cloudera Certificación Consellos e orientación e Preparación preparación da entrevista, consellos e técnicas de desenvolvemento práctico

Por favor, escríbenos a info@itstechschool.com e póñase en contacto connosco en + 91-9870480053 para o prezo do curso e custo de certificación, calendario e localización

Déixanos unha consulta

Este curso de formación está deseñado para axudarche a aclarar ambos Cloudera Spark e Hadoop Developer Certification (CCA175) exame e Administrador certificado de Cloudera para Apache Hadoop (CCAH) exame. O contido completo do curso de formación está en liña con estes dous programas de certificación e axuda a aclarar estes exames de certificación con facilidade e obter os mellores postos de traballo nas principais MNC.

Como parte desta formación estará traballando en proxectos e tarefas en tempo real que teñen implicacións inmensas no escenario da industria do mundo real axudándolle a seguir a súa carreira sen esforzo.

Ao final deste programa de adestramentos haberá probas que reflectan perfectamente o tipo de preguntas que se formulan nos exames de certificación correspondentes e axúdanos a puntuar mellores marcas no exame de certificación.

Certificado de conclusión do seu curso Será concedido na conclusión do traballo do proxecto (en revisión por expertos) e ao marcar de polo menos 60% marcas no cuestionario. A certificación Intellipaat está ben recoñecida nos principais 80 + MNCs como Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware, etc.

Para máis información xentilmente Contacta connosco.


avaliacións