TipoFormación presencial
REGISTRO
curso de certificación de Big Data hadoop

Curso y capacitación de certificación Big Data Hadoop

Tus logros

Audiencia y requisitos previos

Esquema del curso

Horario y tarifas

Certificación

Descripción general del curso de certificación Big Data Hadoop

Es un curso integral de formación de Hadoop Big Data diseñado por expertos de la industria que consideran los requisitos actuales del trabajo de la industria para proporcionar un aprendizaje profundo sobre big data y Hadoop Modules. Este es un curso de capacitación de certificación Big Data reconocido por la industria que es una combinación de los cursos de capacitación en el desarrollador de Hadoop, el administrador de Hadoop, las pruebas de Hadoop y el análisis. Esta Cloudera La capacitación de Hadoop lo preparará para eliminar la certificación de big data.

objetivos

  • Conceptos básicos maestros de Hadoop 2.7 y YARN y escribir aplicaciones que los usan
  • Configuración del pseudo nodo y el clúster de nodos múltiples en Amazon EC2
  • Maestro HDFS, MapReduce, Hive, Pig, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Aprende Spark, Spark RDD, Graphx, MLlib escribiendo aplicaciones Spark
  • Las actividades de administración de Master Hadoop, como administración, supervisión, administración y resolución de problemas de clúster
  • Configuración de herramientas ETL como Pentaho / Talend para trabajar con MapReduce, Hive, Pig, etc.
  • Conocimiento detallado de análisis de Big Data
  • Aplicaciones de prueba de Hadoop que utilizan la Unidad MR y otras herramientas de automatización.
  • Trabajar con formatos de datos Avro
  • Practica proyectos de la vida real usando Hadoop y Apache Spark
  • Estar equipado para eliminar la certificación Big Data Hadoop.

Público destinatario

  • Desarrolladores de programación y administradores de sistemas
  • Profesionales con experiencia, gerentes de proyectos
  • Desarrolladores de Big DataHadoop deseosos de aprender otras verticales como Pruebas, Analíticas, Administración
  • Profesionales de mainframe, arquitectos y profesionales de pruebas
  • Business Intelligence, Data Warehousing y Analytics Professionals
  • Graduados, estudiantes universitarios ansiosos por aprender la última tecnología de Big Data pueden tomar esta capacitación en línea Big Data Hadoop Certification

Requisitos previos

  • No hay pre-requisito para tomar este entrenamiento Big Data y dominar Hadoop. Pero lo básico de UNIX, SQL y Java sería bueno. En Intellipaat, proporcionamos un curso complementario de Unix y Java con nuestro entrenamiento de certificación de Big Data para perfeccionar las habilidades necesarias para que seas bueno en tu camino de aprendizaje de Hadoop.

Duración del esquema del curso: 2 Days

Introducción a Big Data & Hadoop y su Ecosistema, Map Reduce y HDFS

Qué es Big Data, dónde encaja Hadoop, Hadoop Distributed File System - Replicaciones, Tamaño de bloque, Namenode secundario, Alta disponibilidad, Understanding YARN - ResourceManager, NodeManager, Diferencia entre 1.x y 2.x

Instalación y configuración de Hadoop

Hadoop 2.x Arquitectura de clúster, federación y alta disponibilidad, configuración de clúster de producción típica, modos de clúster de Hadoop, comandos de shell de Hadoop comunes, archivos de configuración de Hadoop 2.x, clúster de nodo único Cloudera

Buceo profundo en Mapreduce

Cómo funciona Mapreduce, Cómo funciona el reductor, Cómo funciona Driver, Combiners, Partitioning, Formatos de entrada, Formatos de salida, Shuffle and Sort, Uniones de Mapside, Reducción de uniones laterales, MRUnit, Caché distribuida

Ejercicios de laboratorio:

Trabajando con HDFS, escribiendo el programa WordCount, escribiendo particiones personalizadas, Mapreduce con Combiner, Map Side Join, reduciendo las uniones laterales, Unit Testing Mapreduce, ejecutando Mapreduce en el modo LocalJobRunner

Solución de problemas gráficos

Qué es Gráfico, Representación gráfica, Primer algoritmo de búsqueda de ancho, Representación gráfica de Reducción de mapa, Cómo hacer el algoritmo de gráfico, Ejemplo de Reducción de mapa de gráfico,

    Ejercicio 1: Ejercicio 2: Ejercicio 3:

Conocimiento detallado del cerdo

A. Introducción al cerdo

Comprender Apache Pig, las características, varios usos y aprender a interactuar con Pig

B. Despliegue de cerdo para el análisis de datos

La sintaxis de Pig Latin, las diversas definiciones, clasificación y filtro de datos, tipos de datos, implementación de Pig para ETL, carga de datos, visualización de esquemas, definiciones de campo, funciones de uso común.

C. Pig para procesamiento de datos complejo

Diversos tipos de datos, incluidos anidados y complejos, procesamiento de datos con Pig, iteración de datos agrupados, ejercicio práctico

D. Realizar operaciones de conjuntos de datos múltiples

Conjunto de datos de unión, división de conjuntos de datos, varios métodos para combinar conjuntos de datos, establecer operaciones, ejercicios prácticos

E. Cerdo que se extiende

Comprender las funciones definidas por el usuario, realizar el procesamiento de datos con otros lenguajes, importaciones y macros, usar la transmisión y UDFs para extender Pig, ejercicios prácticos

F. Pig Jobs

Trabajando con conjuntos de datos reales que involucran a Walmart y Electronic Arts como caso de estudio

Entendimiento detallado de Hive

A. Introducción a Hive

Comprensión de Hive, comparación de bases de datos tradicionales con Hive, Pig y Hive, almacenamiento de datos en Hive y Hive schema, Hive interaction y varios casos de uso de Hive

B. Colmena para el análisis de datos relacionales

Comprender HiveQL, sintaxis básica, varias tablas y bases de datos, tipos de datos, unión de conjuntos de datos, varias funciones integradas, implementación de consultas Hive en scripts, shell y Hue.

C. Manejo de datos con Colmena

Las diversas bases de datos, creación de bases de datos, formatos de datos en Hive, modelado de datos, tablas gestionadas en vivo, tablas autogestionadas, carga de datos, cambio de bases de datos y tablas, simplificación de consultas con vistas, almacenamiento de resultados de consultas, control de acceso a datos, gestión de datos con los servidores Hive, Hive Metastore y Thrift.

D. Optimización de Colmena

Rendimiento de aprendizaje de consulta, indexación de datos, particionamiento y agrupamiento

E. Colmena que se extiende

Despliegue de funciones definidas por el usuario para extender Hive

F. Ejercicios prácticos: trabajar con grandes conjuntos de datos y consultas extensas

Implementación de Hive para grandes volúmenes de conjuntos de datos y grandes cantidades de consultas

G. UDF, optimización de consultas

Trabajando extensamente con las consultas definidas por el usuario, aprendiendo a optimizar las consultas, varios métodos para realizar el ajuste del rendimiento.

Impala

A. Introducción a Impala

¿Qué es Impala ?, ¿Cómo se diferencia Impala de Hive and Pig, Cómo se diferencia Impala de las bases de datos relacionales, las limitaciones y las direcciones futuras, usando el Impala Shell

B. Elegir lo mejor (Hive, Pig, Impala)

C. Modelado y administración de datos con Impala y Colmena

Descripción general del almacenamiento de datos, creación de bases de datos y tablas, carga de datos en tablas, HCatalog, almacenamiento en memoria caché de metadatos Impala

D. Particionamiento de datos

Visión general de la partición, Partición en Impala y Colmena

(AVRO) Formatos de datos

Selección de un formato de archivo, soporte de herramientas para formatos de archivo, esquemas Avro, uso de Avro con colmena y Sqoop, evolución del esquema Avro, compresión

Introducción a la arquitectura Hbase

¿Qué es Hbase? ¿Dónde encaja? ¿Qué es NOSQL?

Apache Spark

A. ¿Por qué Chispa? Trabajando con Spark y Hadoop Distributed File System

Qué es Spark, Comparación entre Spark y Hadoop, Componentes de Spark

B. Componentes de chispa, Algoritmos de chispa comunes-Algoritmos iterativos, Análisis de gráficos, Aprendizaje automático

Apache Spark: introducción, consistencia, disponibilidad, partición, chispa de pila unificada, componentes de chispa, ejemplo de escaldado, mahout, tormenta, gráfico

C. Ejecutar Spark en un clúster, escribir aplicaciones Spark usando Python, Java, Scala

Explicar ejemplo de pitón, Mostrar instalando una chispa, Explicar programa de piloto, Explicar contexto de chispa con ejemplo, Definir variable débilmente tipada, Combinar scala y java a la perfección, Explicar concurrencia y distribución., Explicar qué es rasgo, Explicar función de orden superior con ejemplo, Definir OFI programador, Ventajas de Chispa, Ejemplo de Lamda usando chispa, Explicar Mapreduce con ejemplo

La configuración de Hadoop Cluster y la ejecución de mapas reducen los trabajos

Configuración de clúster de multinodos mediante Amazon ec2 - Creación de la configuración del clúster de nodos 4, Ejecución de mapas Reducir trabajos en clúster

Proyecto principal: poner todo junto y conectar puntos

Poniendo todo junto y Conectando puntos, Trabajando con grandes conjuntos de datos, Pasos involucrados en el análisis de datos grandes

Conectividad ETL con Hadoop Ecosystem

Cómo funcionan las herramientas ETL en Big Data Industry, Conectando a HDFS desde ETL y moviendo datos desde Local a HDFS, Moviendo datos de DBMS a HDFS, Trabajando con Hive con ETL Tool, Creando Map Reduce job en herramienta ETL, End to End ETL PoC que muestra la integración de big data con la herramienta ETL.

Configuración del clúster

Descripción general de la configuración y archivo de configuración importante, Parámetros y valores de configuración, Parámetros HDFS Parámetros MapReduce, Configuración del entorno Hadoop, Archivos de configuración 'Incluir' y 'Excluir', Laboratorio: Ajuste del rendimiento de MapReduce

Administración y mantenimiento

Estructuras y archivos de directorio Namenode / Datanode, Imagen del sistema de archivos y Editar registro, El procedimiento de punto de control, Procedimiento de recuperación y falla de Namenode, Modo seguro, Copia de seguridad de metadatos y datos, Posibles problemas y soluciones / qué buscar, Agregar y eliminar nodos, Laboratorio: MapReduce File system Recovery

Monitoreo y solución de problemas

Mejores prácticas de monitoreo de un clúster, uso de registros y seguimientos de pila para monitoreo y solución de problemas, uso de herramientas de código abierto para monitorear el clúster

Programador de trabajos: el mapa reduce el flujo de envío de trabajos

Cómo programar trabajos en el mismo clúster, horario FIFO, programador justo y su configuración

Configuración de clúster de múltiples nodos y ejecución de mapas Reducir trabajos en Amazon Ec2

Configuración de clúster de multinodos mediante Amazon ec2 - Creación de la configuración del clúster de nodos 4, Ejecución de mapas Reducir trabajos en clúster

ZOOKEEPER

Introducción a ZOOKEEPER, casos de uso ZOOKEEPER, servicios ZOOKEEPER, modelo de datos ZOOKEEPER, Znodes y sus tipos, operaciones Znodes, relojes Znodes, lecturas y escrituras Znodes, garantías de consistencia, gestión de clusters, elección de líder, bloqueo exclusivo distribuido, puntos importantes

Advance Oozie

¿Por qué Oozie ?, Instalar Oozie, Ejecutando un ejemplo, motor de flujo de trabajo Oozie, ejemplo de acción M / R, ejemplo de conteo de palabras, aplicación de flujo de trabajo, envío de flujo de trabajo, transiciones de estado de flujo de trabajo, procesamiento de trabajos Oozie, seguridad Oozie, ¿por qué seguridad Oozie? , Multi tenancy y escalabilidad, Línea de tiempo del trabajo Oozie, Coordinador, Paquete, Capas de abstracción, Arquitectura, Caso de uso 1: disparadores de tiempo, Caso de uso 2: activadores de datos y tiempo, Caso de uso 3: Ventana rodante

Advance Flume

Descripción de Apache Flume, Fuentes de datos distribuidas físicamente, Cambio de estructura de datos, Vistazo más cercano, Anatomía del canal, Conceptos básicos, Evento, Clientes, Agentes, Fuente, Canales, Sumideros, Interceptores, Selector de canal, Procesador de sumidero, Ingesta de datos, Canalización de agente , Intercambio de datos transaccionales, Enrutamiento y replicación, ¿Por qué canales ?, Usar caso- Agregación de registro, Agregar agente de canal, Manejo de una granja de servidores, Volumen de datos por agente, Ejemplo que describe una implementación de canal único

Advance HUE

Introducción a HUE, ecosistema HUE, ¿Qué es HUE ?, vista real del mundo HUE, Ventajas de HUE, ¿Cómo cargar datos en el Explorador de archivos ?, Ver el contenido, Integrar usuarios, Integrar HDFS, Fundamentos de HUE FRONTEND

Avance Impala

Descripción de IMPALA: objetivos, vista de usuario de Impala: descripción general, vista de usuario de Impala: SQL, vista de usuario de Impala: Apache HBase, arquitectura de Impala, tienda de estado Impala, servicio de catálogo de Impala, fases de ejecución de consulta, comparación de Impala a Hive

Prueba de aplicación de Hadoop

Por qué es importante realizar pruebas, Pruebas unitarias, Pruebas de integración, Pruebas de rendimiento, Diagnósticos, Pruebas de QA nocturnas, Pruebas comparativas y de extremo a extremo, Pruebas funcionales, Pruebas de certificación de versiones, Pruebas de seguridad, Pruebas de escalabilidad, Puesta a punto y Desconexión de nodos de datos, Pruebas de confiabilidad , Prueba de lanzamiento

Roles y responsabilidades de Hadoop Testing Professional

Comprender el requisito, preparación de la estimación de prueba, casos de prueba, datos de prueba, creación de banco de prueba, ejecución de prueba, informe de defectos, reevaluación de defectos, entrega de informe de estado diario, finalización de prueba, pruebas de ETL en cada etapa (HDFS, HIVE, HBASE) mientras cargar la entrada (registros / archivos / registros, etc.) utilizando sqoop / canal que incluye, entre otros, verificación de datos, reconciliación, autorización de usuario y pruebas de autenticación (grupos, usuarios, privilegios, etc.), informar defectos al equipo o gerente de desarrollo y conducir hasta el cierre, consolide todos los defectos y cree informes de defectos, valide nuevas características y problemas en Core Hadoop.

Marco llamado Unidad MR para probar programas de reducción de mapa

Reporte los defectos al equipo o gerente de desarrollo y guíelos al cierre, consolide todos los defectos y cree informes de defectos. Responsable de crear un marco de prueba llamado MR Unit para probar los programas Map-Reduce.

Examen de la unidad

Pruebas de automatización usando OOZIE, validación de datos usando la herramienta de sobrecarga de consultas.

Ejecución de pruebas

Plan de prueba para la actualización de HDFS, prueba de automatización y resultado

Plan de prueba Estrategia y redacción de casos de prueba para probar la aplicación Hadoop

Cómo probar instalar y configurar

Apoyo de trabajo y certificación

Consejos de certificación de Cloudera y orientación y preparación de entrevista simulada, consejos prácticos de desarrollo y técnicas

Por favor escríbanos a info@itstechschool.com y contáctanos en + 91-9870480053 por el precio del curso y el costo de certificación, el horario y la ubicación

Envíenos una consulta

Este curso de capacitación está diseñado para ayudarlo a despejar ambos Cloudera Spark y Hadoop Developer Certification (CCA175) examen y Administrador certificado de Cloudera para Apache Hadoop (CCAH) examen. Todo el contenido del curso de capacitación está en línea con estos dos programas de certificación y le ayuda a eliminar estos exámenes de certificación con facilidad y a obtener los mejores trabajos en las principales empresas multinacionales.

Como parte de esta capacitación, trabajará en proyectos y tareas en tiempo real que tienen implicaciones inmensas en el escenario de la industria real, lo que le ayudará a seguir su carrera sin esfuerzo.

Al final de este programa de capacitación habrá cuestionarios que reflejan perfectamente el tipo de preguntas formuladas en los exámenes de certificación respectivos y le ayudarán a obtener mejores notas en el examen de certificación.

Certificado de finalización del curso ITS se otorgará al completar el trabajo del Proyecto (en revisión de un experto) y al anotar al menos un 60% de calificaciones en el cuestionario. La certificación Intellipaat está bien reconocida en las principales multinacionales 80 + como Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware, etc.

Para más información amablemente Contáctenos


Reseñas