TipoTreinamento em sala de aula
CADASTRE-SE

Contato

Os campos marcados com um * são requeridos

 

curso de certificação de dados grandes hadoop

Curso e treinamento de certificação de dados grandes Hadoop

Visão geral

Audiência e Pré-requisitos

Esboço de Curso

Horários e taxas

Certificação

Visão geral do curso de certificação de grande dados Hadoop

É um curso abrangente de treinamento Hadoop Big Data projetado por especialistas da indústria considerando os requisitos atuais do trabalho da indústria para fornecer uma aprendizagem aprofundada em grandes dados e módulos Hadoop. Este é um curso de treinamento de certificação Big Data reconhecido pela indústria que é uma combinação dos cursos de treinamento no desenvolvedor Hadoop, administrador Hadoop, teste Hadoop e análise. este Cloudera O treinamento Hadoop irá prepará-lo para limpar a grande certificação de dados.

Objetivos

  • Principais fundamentos do Hadoop 2.7 e YARN e escreva aplicativos usando eles
  • Configurando Pseudo nó e Multi nó cluster no Amazon EC2
  • Master HDFS, MapReduce, Hive, Pig, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Aprenda Spark, Spark RDD, Graphx, MLlib escrevendo aplicações de faísca
  • Atividades de administração Master Hadoop como gerenciamento de cluster, monitoramento, administração e solução de problemas
  • Configurando ferramentas ETL como Pentaho / Talend para trabalhar com MapReduce, Hive, Pig, etc.
  • Compreensão detalhada da análise de dados grandes
  • Aplicações de teste Hadoop usando MR Unit e outras ferramentas de automação.
  • Trabalhe com formatos de dados Avro
  • Prática de projetos reais usando Hadoop e Apache Spark
  • Esteja equipado para limpar a certificação Big Data Hadoop.

Audiência pretendida

  • Desenvolvedores de Programação e Administradores de Sistema
  • Profissionais profissionais experientes, Gerentes de projeto
  • Big DataHadoop Developers ansioso para aprender outros verticais como teste, análise, administração
  • Mainframe Profissionais, Arquitetos e Testes Profissionais
  • Business Intelligence, data warehousing e analíticos profissionais
  • Graduados, universitários ansiosos para aprender a tecnologia Big Data mais recente pode assumir este treinamento on-line Big Data Hadoop Certification

Pré-requisitos

  • Não há pré-requisito para assumir este grande treinamento de dados e para dominar o Hadoop. Mas o básico do UNIX, SQL e java seria bom. No Intellipaat, oferecemos cursos gratuitos de Unix e Java com o treinamento de certificação Big Data para aprimorar as habilidades necessárias para que você seja bom em seu caminho de aprendizado Hadoop.

Duração do curso: Dias 2

Introdução a Big Data & Hadoop e seu ecossistema, Map Reduce e HDFS

O que é Big Data, onde Hadoop se encaixa, Hadoop Distributed File System - Replicações, tamanho do bloco, Namenode secundário, alta disponibilidade, entendendo YARN - ResourceManager, NodeManager, diferença entre 1.x e 2.x

Instalação e configuração do Hadoop

Hadoop 2.x Arquitetura de Cluster, Federação e Alta Disponibilidade, Uma Configuração de Cluster de Produção Típica, Modos de Cluster Hadoop, Comandos de Shell Hadoop Comuns, Arquivos de Configuração Hadoop 2.x, Cloudera Cluster de nó único

Deep Dive in Mapreduce

Como o Mapreduce funciona, como o redutor funciona, como o driver funciona, combinadores, particionadores, formatos de entrada, formatos de saída, aleatória e classificação, junções de Mapside, Redução de juntas laterais, MRUnit, cache distribuído

Exercícios de laboratório:

Trabalhando com HDFS, escrevendo programa WordCount, escrevendo particionador personalizado, Mapreduce com Combiner, Junção lateral do mapa, Redução de juntas laterais, Teste de unidade Mapreduce, Execução de Mapreduce no modo LocalJobRunner

Gráfico de Resolução de Problemas

O que é Gráfico, Representação de Gráficos, Análise de Grão primeiro Algoritmo de Pesquisa, Representação de Gráfico de Redução de Mapa, Como Fazer o Algoritmo de Gráfico, Exemplo de Redução de Mapa Gráfico,

    Exercício 1: Exercício 2: Exercício 3:

Compreensão detalhada de Porco

A. Introdução ao porco

Entendendo Apache Pig, os recursos, vários usos e aprender a interagir com Pig

B. Implementando porco para análise de dados

A sintaxe do Pig Latin, as várias definições, o tipo de dados e o filtro, os tipos de dados, a implantação de Porco para ETL, o carregamento de dados, a visualização de esquema, as definições de campo, funções comumente usadas.

C. Pig para processamento de dados complexo

Vários tipos de dados, incluindo aninhado e complexo, processando dados com Pig, iteração de dados agrupados, exercício prático

D. Executando operações de conjuntos de dados múltiplos

Conjunto de dados de junção, divisão de conjunto de dados, vários métodos para combinação de conjuntos de dados, operações de conjunto, exercícios práticos

E. Extensão de porco

Compreendendo as funções definidas pelo usuário, realizando o processamento de dados com outras linguas, importações e macros, usando streaming e UDFs para ampliar Pig, exercícios práticos

Empregos F. Pig

Trabalhando com conjuntos de dados reais envolvendo Walmart e Electronic Arts como estudo de caso

Compreensão detalhada da colméia

A. Introdução à colméia

Understanding Hive, comparação de banco de dados tradicional com comparação de ramo, porco e colmeia, armazenamento de dados no esquema Hive and Hive, interação de colmeia e vários casos de uso de Hive

B. Colméia para análise de dados relacionais

Compreendendo o HiveQL, a sintaxe básica, as várias tabelas e bancos de dados, tipos de dados, conjunto de dados, várias funções internas, implantação de consultas de ramo em scripts, shell e Hue.

C. Gerenciamento de dados com a colméia

Os vários bancos de dados, a criação de bancos de dados, os formatos de dados na colmeia, a modelagem de dados, as tabelas gerenciadas por ramo, as tabelas autogestionadas, o carregamento de dados, a mudança de bancos de dados e as tabelas, simplificação de consultas com vistas, armazenamento de resultados de consultas, controle de acesso a dados, gerenciamento de dados com Hive, Hive Metastore e Thrift server.

D. Otimização da colmeia

Desempenho de aprendizagem da consulta, indexação de dados, particionamento e balde

E. Extensão da colméia

Implantando funções definidas pelo usuário para ampliar a colméia

F. Hands on Exercises - trabalhando com grandes conjuntos de dados e consultas extensivas

Implantando a Colmeia para enormes volumes de conjuntos de dados e grandes quantidades de consultas

G. UDF, otimização de consulta

Trabalhando extensivamente com consultas definidas pelo usuário, aprendendo a otimizar consultas, vários métodos para fazer ajustes de desempenho.

Impala

A. Introdução ao Impala

O que é Impala ?, Como o Impala difere da Arango e do Porco, Como o Impala difere dos bancos de dados relacionais, Limitações e Diretrizes Futuras, Usando o Impala Shell

B. Escolhendo o melhor (Hive, Pig, Impala)

C. Modelando e Gerenciando Dados com Impala e Colmeia

Visão geral do armazenamento de dados, criação de bancos de dados e tabelas, carregamento de dados em tabelas, HCatalog, armazenamento de metadados Impala

D. Particionamento de dados

Visão geral do particionamento, particionamento em Impala e Hive

(AVRO) Formatos de dados

Selecionando um Formato de Arquivo, Suporte de Ferramenta para Formatos de Arquivo, Avro Schemas, Usando Avro com Colmeia e Sqoop, Avro Schema Evolution, Compressão

Introdução à arquitetura Hbase

O que é o Hbase, onde ele se encaixa, o que é NOSQL

Apache Spark

A. Por que Spark? Trabalhando com Spark e Hadoop Distributed File System

O que é Spark, Comparação entre Spark e Hadoop, Componentes da Spark

B. Componentes de faísca, Algoritmos de faísca comuns - Algoritmos iterativos, Análise de Gráficos, Aprendizagem de Máquinas

Apache Spark - Introdução, Consistência, Disponibilidade, Partição, Unified Stack Spark, Spark Components, Scalding example, mahout, storm, graph

C. Executando Spark em um Cluster, Escrevendo Aplicativos Spark usando Python, Java, Scala

Explicar o exemplo do python, Mostrar a instalação de uma faísca, Explicar o programa do driver, Explicar o contexto da faísca com o exemplo, Definir a variável fracamente digitada, Combinar scala e java de forma transparente, Explicar a concorrência e a distribuição. Explicar o que é traço Explicar a função de ordem superior com o exemplo Definir OFI Planejador, Vantagens de Spark, Exemplo de Lamda usando faísca, Explique Mapreduce com exemplo

Configuração do Hadoop Cluster e execução de mapa Reduzir trabalhos

Configuração de cluster de nodos múltiplos usando o Amazon ec2 - Criando configuração de cluster de nó 4, Executando o Mapa Reduzir Empregos no Cluster

Projeto principal - Juntando tudo e conectando pontos

Colocando tudo junto e pontos de conexão, trabalhando com grandes conjuntos de dados, etapas envolvidas na análise de dados grandes

Conectividade ETL com o ecossistema Hadoop

Como as ferramentas ETL funcionam na indústria de grandes dados, conectando-se a HDFS a partir de ferramentas ETL e movendo dados de sistema local para HDFS, movendo dados de DBMS para HDFS, trabalhando com colméia com ferramenta ETL, criando trabalho de redução de mapa na ferramenta ETL, End-End ETL PoC mostrando grande integração de dados com ferramenta ETL.

Configuração do cluster

Visão geral da configuração e arquivo de configuração importante, parâmetros e valores de configuração, parâmetros HDFS Parâmetros MapReduce, configuração do ambiente Hadoop, arquivos de configuração 'Incluir' e 'Excluir', Lab: MapReduce Ajuste de desempenho

Administração e Manutenção

Estruturas e arquivos de diretório Namenode / Datanode, Imagem do sistema de arquivos e registro de edição, Procedimento do ponto de verificação, Erro de Namenode e procedimento de recuperação, Modo de segurança, Metadados e backup de dados, Problemas e soluções potenciais / O que procurar, Adicionando e removendo nós, Laboratório: MapReduce Recuperação do sistema de arquivos

Monitoramento e solução de problemas

Melhores práticas de monitoramento de um cluster, Usando logs e rastreios de pilha para monitoramento e solução de problemas, Usando ferramentas de código aberto para monitorar o cluster

Job Scheduler: Map reduz o fluxo de envio de trabalho

Como agendar Jobs no mesmo cluster, FIFO Schedule, Fair Scheduler e sua configuração

Multi Node Cluster Setup e execução de mapa Reduzir trabalhos no Amazon Ec2

Configuração de cluster de nodos múltiplos usando o Amazon ec2 - Criando configuração de cluster de nó 4, Executando o Mapa Reduzir Empregos no Cluster

ZOOKEEPER

ZOOKEEPER Introdução, casos de uso do ZOOKEEPER, ZOOKEEPER Services, modelo de ZOOKEEPER, Znodes e seus tipos, operações de Znodes, relógios Znodes, Znodes lê e escreve, Garantias de consistência, Gerenciamento de cluster, Eleição líder, Bloqueio exclusivo distribuído, Pontos importantes

Advance Oozie

Por que Oozie ?, Instalando Oozie, Executando um exemplo, Oozie, o mecanismo de fluxo de trabalho, Exemplo de ação M / R, exemplo de contagem de palavras, Aplicação de fluxo de trabalho, envio de fluxo de trabalho, transições de fluxo de trabalho, processamento de trabalho Oozie, segurança Oozie, por que a segurança Oozie ?, apresentação de trabalho Multi-arrendamento e escalabilidade, Time line of Oozie job, Coordinator, Bundle, Layers of abstraction, Architecture, Use Case 1: trigger de tempo, Use Case 2: dados e desencadeadores de tempo, Use Case 3: rolling window

Advance Flume

Visão geral do Apache Flume, Fontes de dados distribuídas fisicamente, Mudança da estrutura de dados, Análise mais próxima, Anatomia de Flume, Conceitos básicos, Evento, Clientes, Agentes, Fonte, Canais, Pias, Interceptores, Seletor de canais, Processador de lavatório, Ingesta de dados, Pipeline de agente , Troca de dados transacionais, Roteamento e replicação, Por que canais ?, Uso de agregação de casos, agregação, Adicionando agente de flume, Manejo de um farm de servidores, Volume de dados por agente, Exemplo descrevendo uma implantação de canal único

Advance HUE

Introdução HUE, HUE ecossistema, O que é HUE ?, HUE visão do mundo real, Vantagens de HUE, Como carregar dados no Navegador de arquivos ?, Ver o conteúdo, Integrando usuários, Integrando HDFS, Fundamentos de HUE FRONTEND

Impala Avançado

Visão geral do IMPALA: Objetivos, Vista do usuário de Impala: Visão geral, Visão do usuário de Impala: SQL, Vista do usuário de Impala: Apache HBase, arquitetura Impala, loja de estado Impala, serviço de catálogo Impala, fases de execução de consultas, comparação de Impala com colméia

Teste de Aplicação Hadoop

Por que o teste é importante, teste de unidade, teste de integração, teste de desempenho, diagnóstico, teste de QA noturno, benchmark e testes de ponta a ponta, teste funcional, teste de certificação de versão, testes de segurança, teste de escalabilidade, comissionamento e desativação de testes de nodos de dados, teste de confiabilidade , Teste de lançamento

Funções e responsabilidades do Hadoop Testing Professional

Compreensão do Requisito, preparação da Estimativa de Testes, Casos de teste, Dados de teste, Criação de teste, Execução de teste, Relatório de defeitos, Retos de defeitos, entrega de relatório de status diário, Conclusão de teste, teste ETL em todas as etapas (HDFS, HIVE, HBASE) enquanto carregando a entrada (logs / files / records etc) usando sqoop / flume que inclui, mas não se limita a verificação de dados, Reconciliação, Autorização de Usuário e Teste de Autenticação (Grupos, Usuários, Privilégios, etc.), Denunciar defeitos para a equipe de desenvolvimento ou gerente e dirigir para o encerramento, Consolide todos os defeitos e crie relatórios de defeitos, Validando novos recursos e problemas no Core Hadoop.

Estrutura denominada unidade MR para testes de programas Map-Reduce

Informe os defeitos para o time de desenvolvimento ou o gerente e o conduzam ao encerramento, Consolide todos os defeitos e crie relatórios de defeitos, Responsável pela criação de um quadro de teste chamado MR Unit para testar os programas Map-Reduce.

Teste de Unidade

Testes de automação usando o OOZIE, Validação de dados usando a ferramenta de aumento de consulta.

Execução de Teste

Plano de teste para atualização de HDFS, automação de teste e resultado

Plano de teste Estratégia e escrita Testar casos para testar a aplicação Hadoop

Como testar a instalação e configuração

Suporte de trabalho e certificação

Dicas de Certificação Cloudera e Orientação e Preparação de Interpretação Mock, Dicas e Técnicas de Desenvolvimento Prático

Escreva-nos em info@itstechschool.com e entre em contato com + 91-9870480053 para o custo do curso e custo de certificação, agendamento e localização

Solte-nos uma consulta

Este curso de treinamento foi projetado para ajudá-lo a limpar os dois Cloudera Spark e Hadoop Developer Certification (CCA175) exame e Cloudera Administrador Certificado para Apache Hadoop (CCAH) exame. Todo o conteúdo do curso de treinamento está em linha com esses dois programas de certificação e ajuda você a limpar esses exames de certificação com facilidade e obter os melhores trabalhos nas principais multinacionais.

Como parte deste treinamento, você estará trabalhando em projetos e tarefas em tempo real que tenham imensas implicações no cenário da indústria do mundo real, ajudando você a acompanhar sua carreira com facilidade.

No final deste programa de treinamento haverá questionários que refletem perfeitamente o tipo de perguntas feitas nos respectivos exames de certificação e ajuda você a marcar melhores marcas no exame de certificação.

Seu Certificado de Conclusão do Curso será premiado com a conclusão do trabalho do Projeto (na revisão de especialistas) e após a pontuação de pelo menos marcas 60% no questionário. A certificação Intellipaat é bem reconhecida nas principais multinacionais 80 + como Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware, etc.

Para mais informações, por favor Contato


Comentários