iruIkẹkọ ikoko
Forukọsilẹ
Ilana nla iforukọsilẹ data nla

Big Data Idaabobo Awọn itọnisọna Dajudaju & Ikẹkọ

Akopọ

Ipe & Awọn ẹri

Ilana Akoso

Iṣeto & Owo

iwe eri

Big Data Idaabobo Iwe-aṣẹ Lakopọ Akopọ

O jẹ ilọsiwaju ikẹkọ data ti Hadoop Big Data ti a ṣe nipasẹ awọn amoye ile-iṣẹ lati mọ awọn iṣẹ iṣẹ ile-iṣẹ lọwọlọwọ lati pese imọ-inu-jinlẹ lori data nla ati awọn modulu Hadoop. Eyi jẹ ile-iṣẹ kan ti o ni imọran iwe-ẹkọ imọ-nla ti Big Data ti o jẹ apapo awọn ikẹkọ ikẹkọ ni Olùgbéejáde Hadoop, Olutọju Hadoop, igbeyewo Hadoop, ati awọn atupale. Eyi Cloudera Ikẹkọ Hadoop yoo ṣetan ọ lati nu iwe-aṣẹ nla data.

afojusun

  • Awọn orisun pataki ti Hadoop 2.7 ati YARN ati kọ awọn ohun elo nipa lilo wọn
  • Ṣiṣeto ipade ti nwọle ati Ọpa ti nmu ti opo lori Amazon EC2
  • HDFS Master, MapReduce, Hive, Pig, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Kọ sipaki, Spark RDD, Graphx, Iwe MLlib kikọ Awọn ohun elo turari
  • Awọn iṣẹ iṣakoso Hadoop gẹgẹbi iṣakoso iṣakoso, abojuto, isakoso ati laasigbotitusita
  • Ṣiṣeto awọn ohun elo ETL bi Pentaho / Talend lati ṣiṣẹ pẹlu MapReduce, Hive, Ẹlẹdẹ, ati be be lo
  • Iyeyeye alaye ti Awọn atupọ Big Data
  • Ṣiṣe ayẹwo awọn ohun elo nipa lilo MR Unit ati awọn irinṣẹ irinṣẹ miiran.
  • Ṣiṣe pẹlu awọn ọna kika data Avro
  • Ṣiṣe awọn iṣẹ-ṣiṣe gidi-aye pẹlu lilo Hadoop ati Apagun Spani
  • Jẹ ipese lati ṣafihan awọn ẹri Big Data Hadoop.

ti a ti pinnu jepe

  • Awọn Alagbatọ Awọn Itọsọna ati Awọn Alakoso System
  • Awọn oniṣẹ iṣẹ iriri, Awọn alakoso ise
  • Awọn Aṣekoro nla DataHadoop Awọn ayanfẹ ni itara lati kọ awọn idiwọn miiran gẹgẹbi Igbeyewo, Atupale, Isakoso
  • Awọn akosemoṣe Pataki, Awọn ayaworan ile ati Awọn akosemoye idanwo
  • Imọye Iṣowo, Data warehousing ati awọn Oṣiṣẹ igbasilẹ
  • Awọn ile-iwe giga, awọn akọkọ ti ko ni iwe-ẹkọ ti o ni itara lati kọ ẹkọ titun Imọ-ẹrọ nla data le gba ikẹkọ iṣeduro Ayelujara yii ni Big Data Hadoop certification

Prerequisites

  • Ko si ibere-tẹlẹ lati ya ikẹkọ data nla yii ati lati ṣe olori Hadoop. Ṣugbọn awọn ipilẹ ti UNIX, SQL ati java yoo dara. Ni Intellipaat, a pese itọnisọna unix ati ilana Java pẹlu imọṣẹ iwe-ẹri nla ti wa ni Big Data lati ṣafẹri awọn ogbon ti o nilo lati jẹ ki o dara si ọ Hadoop eko ẹkọ.

Akokọ Akoko Iye: Ọjọ 2

Ifihan si Awọn Alaye nla ati Idagbasoke ati awọn Ekoro-ori rẹ, Map Din ati HDFS

Kini Data nla, Nibo ni Hadoop ti yẹ si, Hadoop Pipin System File - Awọn ilojade, Iwọn Block, Namenode ti ile-iwe, Ipilẹ to gaju, Imọye YARN - ResourceManager, NodeManager, Iyatọ laarin 1.x ati 2.x

Fifi sori Hadoop & setup

Hadoop 2.x Cluster Architecture, Federation and High Highlight, Awọn ilana Itoju Oro Ipilẹ, Awọn Ipapọ Ipapọ Awọn Iwọn, Awọn Ipapọ Iwọn Awọn Igbẹhin Ipa, Hadoop 2.x Awọn iṣeto ni Awọn faili, Cloudera Nilu ipade kan ṣoṣo

Dive Dive ni Mapreduce

Bawo ni Ṣiṣẹlẹ Mapẹ, Bawo Awọn iṣẹ irẹwẹsi, Bawo ni Ṣiṣẹ Awakọ, Awọn apẹrẹ, Awọn oludari, Awọn ọna Input, Awọn Apẹrẹ Ṣiṣejade, Ṣiṣẹpọ ati Lẹtọ, Awọn Mapide Ṣepọ, Din Agbegbe Wọpọ, MRUnit, Kaṣe Pipin

Awọn iṣẹ-inu ile:

Ṣiṣẹ pẹlu HDFS, Eto kikọ WordCount, Ṣiṣẹ onisẹ aṣa, Ṣafihan pẹlu Olugbepo, Bọtini Map Daapọ, Din ẹgbẹ wa, Ẹrọ Agbegbe Ibẹrẹ, Ṣiṣe Ilẹ-ilẹ ni Ipo LocalJobRunner

Ṣiṣe Isoro Isoro

Kini Eya, Asoju Aworan, Akaraka akọkọ Ṣawari Algorithm, Aṣoju Aworan ti Map Dinku, Bawo ni lati ṣe Algorithm aworan, Apẹẹrẹ ti Awọn aworan Map Ṣiwọn,

    Idaraya 1: 2 Idaraya: Idaraya 3:

Iyeyeye alaye ti Ẹlẹdẹ

A. Ifihan si Ẹlẹdẹ

Mimọ Pig ti o ti npa, awọn ẹya ara ẹrọ, awọn oriṣiriṣi awọn ipawo ati ẹkọ lati ṣe alabapin pẹlu Ẹlẹdẹ

B. Ti n ṣafẹjẹ Ẹlẹdẹ fun onínọmbà data

Sisọpọ ti Latin Pig, awọn asọye ti o yatọ, tito data ati idanimọ, awọn iru data, gbigbe Pig fun ETL, ikojọpọ data, wiwo wiwo simi, awọn itumọ aaye, awọn iṣẹ ti a lo.

K. Ẹlẹdẹ fun itọju data pataki

Orisirisi awọn iru data pẹlu ohun ti o wa ni idasilo ati idiyele, data ṣiṣe pẹlu Ẹlẹdẹ, ṣajọpọ itọnisọna data, idaraya ṣiṣe

D. Ṣiṣe awọn iṣiro-ọpọlọ awọn iṣẹ

Ṣiṣeto data ṣeto didopọ, pinpin data, awọn ọna oriṣiriṣi fun ṣeto data ṣeto, awọn iṣẹ ṣeto, iṣẹ idaraya

E. Ẹlẹdẹ to pọ

Agbọye ti awọn olumulo ṣe awọn iṣẹ, ṣiṣe awọn data data pẹlu awọn ede miiran, awọn ikọja ati awọn macros, lilo sisanwọle ati awọn UDF lati fa Pig, awọn adaṣe ṣiṣe

F. Iṣẹ Ẹlẹdẹ

Ṣiṣẹ pẹlu awọn data gangan ti o wa pẹlu Walmart ati Ẹrọ Itanna gẹgẹbi iwadi iwadi

Iyeyeye alaye ti Hive

A. Hive Ifihan

Imọye Hive, data ipilẹ ti aṣa pẹlu Ipa, Ẹlẹdẹ ati Hive lafiwe, titoju awọn data ni Hive ati Hma schema, Ibaramu ibaraẹnisọrọ ati awọn lilo orisirisi lilo ti Hive

B. Hive fun iyasọtọ data ibatan

Miiye HiveQL, ipilẹ agbekalẹ, awọn tabili oriṣiriṣi ati awọn apoti isura infomesonu, awọn oniru data, ṣeto awọn data, awọn iṣẹ-ṣiṣe ti o yatọ, ti n ṣawari awọn ibeere lori awọn iwe afọwọkọ, ikarahun ati Hue.

K. Isakoso data pẹlu Hive

Awọn apoti ipamọ data orisirisi, ẹda ti awọn apoti isura infomesonu, awọn ọna kika data ni Hive, awoṣe data, Awọn tabili iṣakoso, awọn iṣakoso ti iṣakoso ara, awọn ikojọpọ data, iyipada awọn apoti isura data ati Awọn tabili, simplification ìbéèrè pẹlu Awọn iwo, iṣeduro titoju ti awọn ibeere, iṣakoso wiwọle data, pẹlu Hive, Hive Metastore ati olupin Thrift.

D. Ti o dara ju ti Hive

Išẹ ẹkọ ti ìbéèrè, titọka data, ipinpa ati bucketing

E. Afikun ti o ti kọja

Deploying oluṣe aṣaṣe awọn iṣẹ fun sisọ Hive

F. Ọwọ lori Awọn adaṣe - ṣiṣẹ pẹlu awọn ipilẹ data nla ati imọran to pọju

Hive Deproying fun awọn ipele nla ti awọn alaye data ati oye nla ti querying

G. UDF, ibeere ti o dara julọ

Ṣiṣẹ ni pipọ pẹlu Awọn ibeere ti a Ṣawari Awọn Olumulo, imọ bi o ṣe le ṣe awọn ibeere, awọn ọna oriṣiriṣi lati ṣe atunṣe išẹ.

Impala

A. Ifihan to Impala

Kini Impala ?, Bawo ni Impala ṣe npa lati Hive ati Pig, Bawo Impala ṣe ṣafihan lati Awọn Ibuwe Isopọ Iṣọkan, Awọn idiwọn ati Awọn itọnisọna ojo iwaju, Lilo Ipa Impala

B. Yan Ti o dara julọ (Hive, Pig, Impala)

K. Ṣatunṣe ati Ṣiṣakoṣo awọn alaye pẹlu Impala ati Hive

Ibi ipamọ Akopọ Data, Ṣiṣẹda awọn apoti isura infomesonu ati awọn tabili, Data imudani sinu awọn tabili, HCatalog, Impala Metadata Caching

D. Ipilẹ Alaye

Ipilẹ Akopọ, Ipilẹ ni Impala ati Hive

(AVRO) Awọn ọna kika Data

Yiyan faili kika, atilẹyin ọja fun awọn faili Fọọmu, Schemas Afro, Lilo Avro pẹlu Hive ati Sqoop, Evolution Schema Evolution, Compression

Ifihan si ile-iṣẹ Hbase

Kini Hbase, Nibo ni o ṣe yẹ, Kini NOSQL

Agbejade Afun

Idahun. Ṣiṣẹ pẹlu Ọpa Ẹka ati Hadoop Pipin System Oluṣakoso

Kini isokuro, Ifiwejuwe laarin awọn sipaki ati Hadoop, Awọn ohun elo ti sipaki

B. Awọn ohun elo ti a fi han, Awọn Alugoridimu ti o wọpọ-Awọn Alugoridimu Imọ, Awọn Iṣiro Ẹya, Ẹkọ ẹrọ

Afẹkọ Apache- Ifihan, Imọlẹ, Wiwa, Ipinya, Ikọlẹ Atokọ ti Ajọpọ, Awọn ohun-elo Spark, Apẹẹrẹ iboju, mahout, storm, graph

K. Ṣiṣafo Iwoye lori Isupọ, Fifiranṣẹ Awọn Ifilo Awọn ohun elo nipa lilo Python, Java, Scala

Ṣe alaye apẹrẹ apani, Ṣiṣe fifi fifiranṣẹ kan, Ṣagbekale itọsọna awakọ, Ṣafihan ipo itumọ pẹlu apẹẹrẹ, Ṣatunkọ iyipada ti ko ni agbara, Darapọ scala ati java seamlessly, Ṣawari otitọ ati pinpin, Ṣafihan ohun ti o jẹ ẹya, Ṣapejuwe iṣẹ-ṣiṣe ti o ga julọ pẹlu apẹẹrẹ, Ṣeto Ifiranṣẹ scheduler, Awọn anfani ti sipaki, Apẹẹrẹ ti Lamda lilo sipaki, Ṣatunkọ Mapreduce pẹlu apẹẹrẹ

Ṣeto Oluso Idẹ ati Eto Ṣiṣe Din Iṣẹ

Ošuši Opoiye Itoju Opo nipa lilo Amazon ec2 - Ṣiṣẹda 4 ipade ikoko isokuso, Eto Nṣiṣẹ Ṣiṣe Iṣẹ lori akojo oniduro

Ise Pataki - Fi gbogbo rẹ ṣọkan ati N ṣopọ Awọn aami

Fi gbogbo rẹ ṣọkan ati Nsopọ awọn aami, Ṣiṣẹ pẹlu awọn alaye titobi nla, Awọn igbesẹ ti o kopa ninu ṣiṣe ayẹwo data nla

ETL Asopọmọra pẹlu Idaabobo Hadoop

Bawo ni awọn irin-ajo ETL ṣe n ṣiṣẹ ni Isẹ nla data, Sopọ si HDFS lati Ẹrọ ETL ati gbigbe data lati Agbegbe agbegbe si HDFS, Gbigbe lati Data DBMS si HDFS, Ṣiṣẹ pẹlu Hive pẹlu Ẹrọ ETL, Ṣiṣẹda Map Din iṣẹ ni ETL ọpa, pari lati pari ETL PoC nfihan nla data Integration pẹlu ETL ọpa.

Isopọ iṣupọ

Iwoye iṣeto ni ati faili iṣeto pataki, Awọn ipo ilọsiwaju ati awọn iṣiro, Awọn ipilẹ HDFS MapRedu awọn ikọkọ, Ṣeto eto ayika, 'Fi' ati 'Awọn faili iṣeto' ti ko ni iyatọ, Lab: MapReduce Performance Tuning

Isakoso ati Itọju

Awọn ọna itumọ ati awọn faili faili Namenode / Datanode, Aṣayan faili faili ati Ṣatunkọ log, Ibi ilana Ṣiṣayẹwo, Iṣiṣe Namenode ati ilana imularada, Ipo ailewu, Metadata ati Idaabobo data, Awọn iṣoro ti o pọju ati awọn solusan / kini lati wa, Fikun-un ati yọ awọn apẹrẹ, Lab: Eto igbanilaaye Oluṣakoso faili Ìgbàpadà

Mimojuto ati Laasigbotitusita

Awọn iṣẹ ti o dara julọ ti mimujuto iṣupọ kan, Lilo awọn àkọọlẹ ati apejuwe awọn akopọ fun mimojuto ati laasigbotitusita, Lilo awọn irinṣẹ orisun-ẹrọ lati ṣe atẹle iṣupọ

Aṣayan Iṣooṣi: Map dinku ifunni iṣeduro ifisilẹ

Bawo ni lati ṣe iṣeto Iṣẹ lori iṣiro kanna, Fifo Schedule, Fair Fairr ati iṣeto rẹ

Ṣiṣe Opoiye Opoiye Nṣiṣẹ ati Ṣiṣe Ilẹkun Din Išišẹ lori Amazon Ec2

Ošuši Opoiye Itoju Opo nipa lilo Amazon ec2 - Ṣiṣẹda 4 ipade ikoko isokuso, Eto Nṣiṣẹ Ṣiṣe Iṣẹ lori akojo oniduro

ZOOKEEPER

ZOOKEEPER Ifihan, ZOOKEEPER lo awọn ẹlomiran, Iṣẹ ZOOKEEPER, ZOOKEEPER data awoṣe, Awọn koodu ati awọn oriṣiriṣi rẹ, Awọn iṣẹ Znodes, Agogo Znodes, Znodes Say ati ki o kọwe, Awọn iṣeduro Agbara, Isakoso isakoso, Idibo Aṣayan, Titiipa Iyasoto Pinpin, Awọn ojuami pataki

Advance Oozie

Idi ti Oozie, Fi Oozie, Nṣiṣẹ kan apẹẹrẹ, Ọkọ iṣẹ-iṣẹ, Apere M / R igbese, Apeere ọrọ, Ohun elo iṣelọpọ, Isẹjade iṣaṣiṣe, Iṣipopada ipinle awọn gbigbe, Oozie processing processing, Oozie security, Why Oozie security? , Agbegbe pupọ ati scalability, Iwọn akoko ti iṣẹ Oozie, Alakoso, Ipapo, Awọn apẹrẹ ti abstraction, Ṣiṣe aworan, Lo 1 igbega: awọn okunfa akoko, Lo 2 igbega: data ati awọn okunfa akoko, Lo 3: windowing rolling

Ọkọ ayọkẹlẹ

Akopọ ti Ipapọ Apa, Ti a ti pin awọn orisun Data, Iyipada iyipada ti Data, Imọlẹ ti o dara, Anatomy ti Flume, Awọn opo, Awọn oṣayan, Awọn olugbo, Awọn oluranṣe, Orisun, Awọn ikanni, Awọn ifọwọkan, Awọn oluṣewe, Aṣayan ikanni, Ọpọn isun, Data ingest, Opo gigun , Paṣipaarọ iṣowo ṣiṣe iṣowo, Ṣiṣayẹwo ati atunṣe, Kini awọn ikanni ?, Lo ọran- Wọpọ agbasọ, Fifi oluṣowo fọọmu, Gbigboti oko r'oko, Iwọn data fun oluranlowo, Apẹẹrẹ ti ṣàpèjúwe iṣuṣi ipade kan ṣoṣo kanṣoṣo

Advance HUE

Ifarahan HUE, Ilana abemi HUE, Kini HUE ?, HUE ojulowo aye, Awọn anfani ti HUE, Bawo ni lati gbe awọn data ni Burausa Oluṣakoso ?, Wo akoonu, Ṣiṣe awọn olumulo, Integrating HDFS, Awọn ipilẹṣẹ ti HUE FRONTEND

Advance Impala

IMPALA Akopọ: Awọn esi, Impu olumulo ti Impala: Akopọ, Impa olumulo: SQL, Impu olumulo: Apache HBase, Impala architecture, Impala State store, Impala catalog service, Awọn ibeere ipaniyan ibere, Ifiwera Impala si Hive

Atunwo Ilana ti Ayẹwo

Idiwo ti o ṣe pataki, Ayẹwo Ikọlẹ, Igbeyewo Integration, Iwadi ṣiṣe, Awọn ayẹwo, Iwadii QA ti Nightly, Atokasi ati opin si awọn idaduro igbeyewo, Igbeyewo iṣẹ, Ẹri eri iwe-ẹri, Igbeyewo aabo, Ijaduro ipele, Iṣiṣẹ ati Decommissioning ti Nested Test Nodes, Testing Reliability , Igbeyewo igbejade

Awọn ipa ati awọn ojuse ti Idoju igbeyewo Ọjọgbọn

Iyeyeye Awọn ibeere, igbaradi fun igbeyewo Idanwo, Awọn idanwo, Awọn igbeyewo igbeyewo, Ẹda idanwo idanwo, Ṣiṣe ayẹwo, Iroyin aṣiṣe, Atunṣe Aṣeyọri, Ojoojumọ Iroyin ipolowo, Ipad igbeyewo, ETL igbeyewo ni gbogbo ipele (HDFS, HIVE, HBASE) lakoko ti o gbigba awọn titẹ sii (awọn apejuwe / awọn faili / igbasilẹ ati be be lo) lilo sqoop / flume ti o ni pẹlu ṣugbọn ko ni opin si idaniloju data, Atọja, Olumulo olumulo ati idanwo Ijeri (Awọn ẹgbẹ, Awọn olumulo, Awọn anfani ati bẹbẹ lọ), Awọn abawọn iroyin si egbe idagbasoke tabi oluṣakoso ati iwakọ wọn lati pari, Ṣatunṣe gbogbo awọn abawọn ati ṣẹda awọn abawọn aṣiṣe, Ṣiṣedaṣe ẹya tuntun ati awọn oran ni Core Hadoop.

Ilana ti a npe ni MR Unit fun Igbeyewo ti Eto-Din Awọn isẹ

Awọn abawọn iroyin si egbe egbegbimọ tabi oluṣakoso ati iwakọ wọn lati pipade, Soro gbogbo awọn abawọn ati ṣẹda awọn abawọn aṣiṣe, O dahun fun ṣiṣẹda Ilana idanimọ ti a npe ni MR Unit fun idanwo ti Awọn Eto-Din eto.

Unit Igbeyewo

Idanwo idanimọ laifọwọyi nipa lilo OOZIE, Imudaniloju data nipa lilo ọpa wiwa ibeere.

Igbeyewo idanwo

Eto idanwo fun igbega HDFS, Ẹrọ idanwo ati abajade

Ipolowo Eto Eto ati kikọ Awọn igbeyewo Idanwo fun igbeyewo Hadoop Application

Bawo ni lati ṣe idanwo sori ẹrọ ati tunto

Job ati atilẹyin Ẹri

Awọn itọnisọna ati Itọnisọna Italologo ti Cloudera ati Iṣeduro ifarabalẹ iṣọrin, Awọn italolobo Idagbasoke Awọn Iṣẹ ati Awọn imọran

Jọwọ kọ si wa ni info@itstechschool.com & kan si wa ni + 91-9870480053 fun iye owo iye-owo & iwe eri eri, iṣeto & ipo

Mu Wa Iwadi Kan

Ilana ikẹkọ yii ni a ṣe lati ran ọ lọwọ lati ṣawari awọn mejeeji Cloarkra Spark ati Hadoop Awọn Olùgbéejáde Idagbasoke (CCA175) idanwo ati Olutọju ti a fọwọsi Cloudera fun Apache Hadoop (CCAH) idanwo. Gbogbo akoonu akoonu ẹkọ ni laini pẹlu awọn eto-ẹri meji wọnyi ati iranlọwọ fun ọ lati ṣayẹwo awọn ayẹwo iwe-ẹri wọnyi pẹlu irora ati ki o gba awọn iṣẹ ti o dara julọ ni awọn MNC oke.

Gẹgẹbi apakan ti ikẹkọ yii iwọ yoo ṣiṣẹ lori awọn iṣẹ iṣe gidi ati awọn iṣẹ iyasọtọ ti o ni awọn ilolura pupọ ni oju iṣẹlẹ ile-aye gidi ti o ṣe iranlọwọ fun ọ ni kiakia lati ṣe igbasilẹ ọmọ-ọwọ rẹ.

Ni opin ikẹkọ eto ẹkọ yii yoo jẹ awakọ ti o fi afihan iru awọn ibeere ti o beere ni awọn iwe-ẹri iwe-ẹri ti o yẹ ki o ṣe iranlọwọ fun ọ lati ṣe iyasilẹ awọn aami to dara julọ ni idanwo iwe-ẹri.

Iwe ijẹrisi Ipari itọnisọna rẹ yoo fun un ni ipari iṣẹ Ise agbese (lori imọran agbeyewo) ati lori ifimaaki ti o kere 60% awọn aami ninu adanwo naa. Iwe-ẹri Intellipaat ni a mọ daradara ni awọn 80 + MNC akọkọ bi Ericsson, Cisco, Aimọ, Sony, Mu Sigma, Saint-Gobain, Standard Chartered, TCS, Genpact, Hexaware, etc.

Fun alaye diẹ ẹ sii daradara Pe wa.


Reviews