tipusAula Formació
REGISTRE

gran curs de certificació de dades hadoop

Curs i formació de certificats Big Data Hadoop

visió de conjunt

Audiència i requisits previs

Esquema del curs

Horaris i càrrecs

certificació

Descripció general del curs de certificació Big Data Hadoop

Es tracta d'un curs de formació integral de Hadoop Big Data dissenyat per experts de la indústria que considera els requisits actuals de treball de la indústria per proporcionar un aprenentatge en profunditat en grans dades i mòduls Hadoop. Es tracta d'un certificat de certificació de Big Data reconegut per la indústria que és una combinació dels cursos de formació en el desenvolupador de Hadoop, l'administrador de Hadoop, les proves de Hadoop i les analítiques. Això Cloudera L'entrenament de Hadoop us prepararà per aclarir la gran certificació de dades.

Objectius

  • Mestres fonamentals de Hadoop 2.7 i YARN i escriviu aplicacions que usin
  • Configuració del clúster Pseudo node i Multi nodes a Amazon EC2
  • Master HDFS, MapReduce, Rusc, Porc, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Aprèn Spark, Spard RDD, Graphx, MLlib escrivint aplicacions Spark
  • Les activitats d'administració del Mestre Hadoop com ara administració, supervisió, administració i resolució de problemes de clústers
  • Configurant eines ETL com Pentaho / Talend per treballar amb MapReduce, Hive, Pig, etc.
  • Comprensió detallada de les anàlisis de Big Data
  • Aplicacions de proves Hadoop amb MR Unit i altres eines d'automatització.
  • Treballa amb formats de dades Avro
  • Practica projectes de vida real utilitzant Hadoop i Apache Spark
  • Estigui equipat per netejar la certificació Big Data Hadoop.

Públic objectiu

  • Desenvolupadors de programació i administradors de sistemes
  • Professionals experimentats, directors de projectes
  • Els desenvolupadors Big DataHadoop desitgen aprendre altres verticals com proves, Analytics, Administration
  • Professionals, Arquitectes i Proves Professionals de Mainframe
  • Business Intelligence, Data warehousing i Analytics Professionals
  • Els graduats, estudiants universitaris amb ganes d'aprendre l'última tecnologia de Big Data, poden fer-se amb aquesta formació en línia de certificació Big Data Hadoop

Requisits previs

  • No hi ha prerequisits per fer aquesta gran formació de dades i dominar Hadoop. Però els conceptes bàsics de UNIX, SQL i Java serien bons. A Intellipaat, oferim cursos de Unix i Java gratuïts amb la nostra formació de certificació de Big Data per tal d'ajudar-vos a desenvolupar les habilitats necessàries perquè us hàgiu d'ajudar en el camí d'aprenentatge d'Hadoop.

Course Outline Duration: 2 Days

Introducció a Big Data i Hadoop i el seu ecosistema, Reducció de mapes i HDFS

Què és Big Data, On Hadoop encaixa, Sistema de fitxers distribuït Hadoop - Replicacions, mida del bloc, Namenode secundari, alta disponibilitat, enteniment de fils - ResourceManager, NodeManager, diferència entre 1.x i 2.x

Hadoop Instal·lació i configuració

Hadoop 2.x Arquitectura de clústers, federació i alta disponibilitat, configuració del clúster de producció típica, modes de cluster Hadoop, comandaments comuns de shell Hadoop, fitxers de configuració de Hadoop 2.x, Cloudera clúster de nodes simples

Immersió profunda a Mapreduce

Com funciona Mapreduce, Com funciona el Reductor, Com funciona el controlador, Combinadores, Particionaris, Formats d'entrada, Formats de sortida, Combinació i ordenació, Combinacions de mapes, Reducció de combinacions laterals, MRUnit, Caché distribuïda

Exercicis de laboratori:

Treballar amb HDFS, escriure el programa WordCount, escriure partició personal, Mapredueix amb Combiner, Map Side Join, Reduir Side Joins, Unit Testing Mapreduce, Running Mapreduce en LocalJobRunner Mode

Resolució de problemes gràfics

Què és el gràfic, la representació de gràfics, el primer algoritme de cerca breu, la representació gràfica del mapa, com fer l'algorisme de gràfics, l'exemple del mapa gràfic, reduir,

    Exercici 1: Exercici 2: Exercici 3:

Comprensió detallada del porc

A. Introducció al porc

Entendre l'Apache Pig, les característiques, diversos usos i aprendre a interactuar amb el porc

B. Desplegament del porc per a l'anàlisi de dades

La sintaxi de Pig Latin, les diverses definicions, ordenació i filtre de dades, tipus de dades, implementació de Pig per ETL, càrrega de dades, visualització d'esquemes, definicions de camps, funcions que s'utilitzen habitualment.

C. Porc per al processament de dades complexes

Diversos tipus de dades incloent dades anidades i complexes, processament de dades amb Pig, iteració de dades agrupades, exercici pràctic

D. Performing multi-dataset operations

Incorporació de dades, divisió del conjunt de dades, diversos mètodes per combinar conjunt de dades, establir operacions, fer exercici pràctic

E. Extensió del porc

Comprensió de funcions definides per l'usuari, realització de processament de dades amb altres idiomes, importacions i macros, mitjançant streaming i UDF per ampliar Pig, exercicis pràctics

F. Jobs de porc

Treballar amb conjunts de dades reals que impliquen Walmart i Electronic Arts com a cas pràctic

Comprensió detallada de la colmena

A. Introducció al rusc

Comprensió de la col.lecció, comparació de bases de dades tradicionals amb la comparació Hive, Pig i Hive, emmagatzemant dades en esquema Hive i Hive, interacció Hive i diversos casos d'ús de Hive

B. Hive per a l'anàlisi de dades relacionals

Comprendre HiveQL, sintaxi bàsica, diverses taules i bases de dades, tipus de dades, unió de dades, diverses funcions incorporades, implementació de consultes Hive en scripts, shell i Hue.

C. Gestió de dades amb Hive

Les diverses bases de dades, creació de bases de dades, formats de dades a Hive, modelatge de dades, Taules controlades per Hive, taules autogestionades, càrrega de dades, canvi de bases de dades i taules, simplificació de consultes amb Views, recopilació de consultes de resultats, control d'accés a dades, gestió de dades amb Hive, Hive Metastore i Thrift.

D. Optimització de la rusc

Aprendre el rendiment de la consulta, la indexació de dades, la partició i el buidatge

E. Extensió del rusc

Implementació de funcions definides per l'usuari per ampliar Hive

F. Hands on Exercises: treballa amb grans conjunts de dades i consultes extenses

Implementar Hive per a grans volums de conjunts de dades i grans quantitats de consultes

G. UDF, optimització de consultes

Treballar àmpliament amb consultes definides per l'usuari, aprendre a optimitzar les consultes, a diversos mètodes per fer l'ajust de rendiment.

Impala

A. Introducció a Impala

Què és Impala ?, Com impala difereix de rusc i porc, Com impala es diferencia de bases de dades relacionals, limitacions i indicacions futures, utilitzant el Shell Impala

B. Triar el millor (rusc, porc, impala)

C. Modelar i gestionar dades amb Impala i Hive

Informació sobre emmagatzematge de dades, creació de bases de dades i taules, càrrega de dades a taules, HCatalog, emmagatzematge en memòria cau de metadades de Impala

D. Particionament de dades

Informació sobre particions, particionant a Impala i Hive

(AVRO) Formats de dades

Selecció d'un format de fitxer, suport d'eines per a formats de fitxers, esquemes Avro, ús d'Avro amb Hive i Sqoop, evolució d'esquema Avro, compressió

Introducció a l'arquitectura Hbase

Què és Hbase, On s'ajusta, Què és NOSQL?

Apache Spark

A. Per què espurna? Treballant amb Spark i Hadoop Distributed File System

Què és Spark, Comparació entre Spark i Hadoop, Components de Spark

B. Components d'espurna, Algorismes d'espurna comuns-Algorismes iteratius, Anàlisi de gràfics, Aprenentatge automàtic

Apache Spark- Introducció, consistència, disponibilitat, partició, Spark Stack unificat, components Spark, exemple Scalding, mahout, storm, graph

C. Executant Spark en un clúster, escrivint aplicacions Spark utilitzant Python, Java, Scala

Explica l'exemple python, mostra l'instal·lació d'una espurna, explica el programa del controlador, explica el context de la chispa amb l'exemple, defineix la variable dèbilment mecanografiada, combina escalat i java a la perfecció, explica la concurrència i distribució. Expliqueu quina és la característica, explica la funció d'ordre superior amb l'exemple, defineix OFI Planificador, Avantatges de Spark, Exemple de Lamda utilitzant espurna, Expliqueu Mapreduce amb exemple

Hadoop Cluster Setup and Running Map Redueix Jobs

Configuració del clúster de nodes múltiples amb Amazon ec2: creació de la configuració del clúster de nodes 4, Executar el mapa Reduïu treballs en clúster.

Projecte principal: posar-lo tot i connectar punts

Posar-lo tot junts i Connecting Dots, Treballar amb conjunts de dades grans, Passos relacionats amb l'anàlisi de grans dades

ETL Connectivity amb Hadoop Ecosystem

Com funcionen les eines ETL en la indústria de grans dades, la connexió a HDFS a partir de l'eina ETL i la transferència de dades del sistema local a HDFS, transferint dades de DBMS a HDFS, treballant amb rusc amb ETL Tool, creació de mapes Reduïu la feina a l'eina ETL, final a fi ETL PoC que mostra una gran integració de dades amb l'eina ETL.

Configuració del clúster

Visió general de la configuració i fitxer de configuració important, paràmetres i valors de configuració, paràmetres HDFS, paràmetres MapReduce, configuració de l'entorn Hadoop, fitxers de configuració 'Incloure' i 'Exclou', Lab: MapReduce Tuning Performance

Administració i manteniment

Namenode / Datanode estructura i arxius del directori, imatge del sistema de fitxers i registre d'edició, The Checkpoint Procedure, Namenode failure and recovery procedure, Safe Mode, Metadata and Data backup, Problemes potencials i solucions / què buscar, Afegir i treure nodes, Lab: MapReduce Recuperació del sistema d'arxius

Seguiment i solució de problemes

Bones pràctiques de monitorització d'un clúster, Ús de registres i traces de pila per a la monitorització i resolució de problemes, Ús d'eines de codi obert per supervisar el clúster.

Planificador de feina: el mapa redueix el flux d'enviament del treball

Com programar feines al mateix grup, FIFO Schedule, Fair Scheduler i la seva configuració

Configuració del clúster de múltiples nodes i el mapa corrent Reduïu feines a Amazon EcXnumx

Configuració del clúster de nodes múltiples amb Amazon ec2: creació de la configuració del clúster de nodes 4, Executar el mapa Reduïu treballs en clúster.

ZOOKEEPER

ZOOKEEPER Introducció, ZOOKEEPER casos d'ús, ZOOKEEPER Services, ZOOKEEPER dades Model, Znodes i els seus tipus, Znodes operacions, Znodes rellotges, Znodes llegeix i escriu, Garanties de coherència, Gestió de clústers, Elecció del líder, Bloqueig exclusiu distribuït, Punts importants

Advance Oozie

Per què Oozie ?, Instal·lant Oozie, Executant un exemple, Oozie-workflow engine, Exemple M / R, exemple de Word count, Workflow application, Submission workflow, Transitions state flowflow, Oozie processing job, Oozie security, Why Oozie security? , Múltiples llogateria i escalabilitat, Línia temporal de treball Oozie, Coordinador, Paquet, Capes d'abstracció, Arquitectura, Cas d'ús 1: desencadenadores del temps, Utilitzeu el cas 2: desencadenadores de dades i temps, Utilitzeu el cas 3: finestra de rodatge

Flume avançat

Informació general sobre Apache Flume, fonts de dades distribuïdes físicament, modificació de l'estructura de dades, aspecte més tancat, anatomia del flume, conceptes bàsics, esdeveniments, clients, agents, fonts, canals, dissipadors, interceptors, selector de canals, processador de descàrrega, ingestió de dades, , Intercanvi de dades transaccionals, Enrutament i replicació, Per què canals ?, Utilitza cas: Agregació de registres, Agregació d'agregats, Administració d'una granja de servidors, Volum de dades per agent, Exemple que descriu un desplegament de node de node únic.

Avanç HUE

Introducció a HUE, ecosistema HUE, Què és HUE ?, HUE visió del món real, Avantatges d'HUE, Com pujar dades al navegador d'arxius ?, Veure el contingut, Integració d'usuaris, Integració de HDFS, Fonaments d'HUE FRONTEND

Advance Impala

IMPALA Visió general: Objectius, Visió d'usuari de Impala: Visió general de l'Impala: SQL, Visió d'usuari de Impala: Apache HBase, arquitectura Impala, botiga estatal Impala, servei de catàleg Impala, Fases d'execució de consultes, Comparant Impala a Hive

Prova d'aplicació Hadoop

Per què les proves són importants, proves d'unitat, proves d'integració, proves de rendiment, diagnòstic, proves QA nocturnes, proves de referència i de final de final, proves funcionals, proves de certificació de llançament, proves de seguretat, assaig d'escalabilitat, posada en marxa i descomposició de proves de nodes de dades, proves de fiabilitat , Prova de llançament

Funcions i responsabilitats de Hadoop Testing Professional

Comprendre el requisit, la preparació de l'estimació de proves, els casos de prova, les dades de prova, la creació de llits de prova, l'execució de la prova, l'informe de defectes, la reposició de defectes, l'entrega del informe de l'estat diari, la finalització de la prova, les proves de ETL en totes les etapes (HDFS, HIVE, HBASE). carregant l'entrada (registres / fitxers / registres, etc.) utilitzant sqoop / flume que inclou, entre d'altres, verificació de dades, comprovació, autorització d'usuari i proves d'autenticació (grups, usuaris, privilegis, etc.). tancar, consolidar tots els defectes i crear informes defectuosos, validar noves característiques i problemes en Core Hadoop.

Marc anomenat Unitat de MR per a proves de programes de reduir mapes

Informeu defectes a l'equip o gestor de desenvolupament i els condueixi al tancament, Consolidar tots els defectes i generar informes defectuosos, Responsables de crear un marc de proves anomenat Unitat MR per a la prova de programes Map-Reduce.

Prova Unitària

Proves d'automatització utilitzant l'OOZIE, validació de dades mitjançant l'eina de consulta.

Execució de la prova

Pla de proves per actualitzar HDFS, Automatització de prova i resultat

Pla de prova Estratègia i escriptura Casos de prova per provar l'aplicació Hadoop

Com provar instal·lar i configurar

Suport de treball i certificació

Consells i orientació de certificació de Cloudera i preparació d'entrevistes simulades, consells i tècniques pràctiques de desenvolupament

Siusplau, escriu-nos a info@itstechschool.com i contacteu-nos a + 91-9870480053 per al preu del curs i el cost de certificació, programació i ubicació

Sol·liciteu una consulta

Aquest curs de formació està dissenyat per ajudar-vos a aclarir tots dos Cloudera Spark i Hadoop Developer Certification (CCA175) examen i Cloudera Certified Administrator per Apache Hadoop (CCAH) examen. El contingut del curs de formació complet està en línia amb aquests dos programes de certificació i us ajuda a aclarir aquests exàmens de certificació amb facilitat i obtenir els millors llocs de treball als millors MNC.

Com a part d'aquesta formació, treballaràs en projectes i assignacions en temps real que tenen immenses conseqüències en l'escenari de la indústria del món real, ajudant-te a fer un seguiment ràpid de la teva carrera sense esforç.

Al final d'aquest programa d'entrenament, hi haurà concursos que reflecteixin perfectament el tipus de preguntes que es formulen en els respectius exàmens de certificació i l'ajuden a obtenir millors qualificacions en l'examen de certificació.

Certificat de Compliment del Curs ITS es lliurarà a la realització de treballs del projecte (a revisió d'experts) i al puntuar com a mínim 60% en el qüestionari. La certificació Intellipaat està ben reconeguda en els principals 80 + MNC com Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware, etc.

Per a més informació amablement Contacti'ns


opinions