ပုံစံစာသင်ခန်းသင်တန်း
REGISTER

ကြှနျုပျတို့ကိုဆကျသှယျရနျ

တစ်ဦးနှင့်အတူမှတ်သား fields * လိုအပ်သည်

 

ကြီးမားတဲ့ data တွေကို hadoop အောင်လက်မှတ်သင်တန်း

Big Data Hadoop လက်မှတ်ထုတ်ပေးရေးသင်တန်းအမှတ်စဥ် & သင်တန်း

ျခံဳငံုသံုးသပ္မႈ

ပရိသတ်ကို & လိုအပ်ချက်

သင်တန်းအမှတ်စဥ်ကောက်ကြောင်း

ဇယား & အခကြေးငွေများ

အေတြ႕အၾကံဳျပည့္အလင္းျပသူမ်ား

Big Data Hadoop လက်မှတ်ထုတ်ပေးရေးသင်တန်းအမှတ်စဥ်ခြုံငုံသုံးသပ်ချက်

ဒါဟာ In-depth ကိုကြီးမားတဲ့ data နဲ့ Hadoop မော်ဂျူးများအပေါ်သင်ယူခြင်းများကိုလက်ရှိစက်မှုလုပ်ငန်းအလုပ်လိုအပ်ချက်များကိုထည့်သွင်းစဉ်းစားစက်မှုလုပ်ငန်းကျွမ်းကျင်သူများကဒီဇိုင်းတစ်ခုပြည့်စုံ Hadoop Big Data သင်တန်းဖြစ်ပါတယ်။ ဤသည် Hadoop ဆော့ဖ်ဝဲရေးသူ, Hadoop အုပ်ချုပ်ရေးမှူး Hadoop စမ်းသပ်ခြင်းနှင့် analytics အတွက်လေ့ကျင့်ရေးသင်တန်းများပေါင်းစပ်ကြောင်းတစ်ခုစက်မှုလုပ်ငန်းအသိအမှတ်ပြု Big Data လက်မှတ်သင်တန်းဖြစ်ပါတယ်။ ဤ Cloudera Hadoop လေ့ကျင့်ရေးကြီးတွေ data တွေကိုအသိအမှတ်ပြုလက်မှတ်ကိုရှင်းလင်းဖို့သငျသညျပွငျဆငျခွငျးပါလိမ့်မယ်။

ရည်ရွယ်ချက်များ

  • သူတို့ကိုသုံးပြီး Hadoop 2.7 နှင့်ချည်ခင်နှင့်ရေး applications များ၏မာစတာအခြေခံ
  • အမေဇုံ EC2 အပေါ် Pseudo node ကိုနှင့် Multi node ကိုစပျစ်သီးပြွတ်တက်ချိန်ညှိခြင်း
  • မာစတာ HDFS, MapReduce, အုံ, ဝက်, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Spark Learn, RDD, Graphx, MLlib Spark applications များရေးသားခြင်းအစပျိုး
  • စပျစ်သီးပြွတ်မန်နေဂျင်း, စောင့်ကြည့်မှု, အုပ်ချုပ်ရေးနှင့်ပြဿနာဖြေရှင်းခြင်းနဲ့တူမာစတာ Hadoop အုပ်ချုပ်ရေးလှုပ်ရှားမှုများ
  • စသည်တို့ကို MapReduce, အုံ, ဝက်နှင့်အတူအလုပ်လုပ်ရန် Pentaho / Talend တူသော ETL tools တွေကို Configuring
  • Big Data analytics ၏အသေးစိတ်နားလည်မှု
  • MR ယူနစ်နှင့်အခြားအလိုအလျောက် tools တွေကိုသုံးပြီး Hadoop စမ်းသပ်ခြင်း applications များ။
  • Avro ဒေတာကို formats နှင့်အလုပ်လုပ်ခြင်း
  • Hadoop သုံးပြီး real-ဘဝစီမံကိန်းများနှင့် Apache ကို Spark လေ့ကျင့်
  • Big Data Hadoop အသိမှတ်ပြုလက်မှတ်ကိုရှင်းလင်းဖို့တပ်ဆင်ထားတဲ့လိမ့်မည်။

ရည်ရွယ်ပရိတ်သတ်

  • programming Developers များနှင့်စနစ်အုပ်ချုပ်ရေးမှူးများ
  • ကြုံတွေ့အလုပ်လုပ်နေသောကျွမ်းကျင်ပညာရှင်များ, စီမံကိန်းမန်နေဂျာ
  • စမ်းသပ်ခြင်း, Analytics မှကဲ့သို့သောအခြားဒေါင်လိုက်သင်ယူဖို့စိတ်အားထက်သန်သည့် Big DataHadoop Developers, အုပ်ချုပ်ရေး
  • Mainframe အတွက်ပညာရှင်များ, ဗိသုကာ & စမ်းသပ်ခြင်းပညာရှင်များ
  • စီးပွားရေးလုပ်ငန်းကိုထောက်လှမ်းရေး, ဒေတာများသိုလှောင်နှင့် Analytics မှပညာရှင်များ
  • ဘွဲ့ရ, နောက်ဆုံးပေါ် Big Data နည်းပညာသင်ယူဖို့စိတ်အားထက်သန်တက္ကသိုလ်တွင်ဘွဲ့ကြိုသင်တန်းများဒီ Big Data Hadoop လက်မှတ်ထုတ်ပေးရေးအွန်လိုင်းလေ့ကျင့်ရေးယူနိုင်ပါသည်

ရှေးဉီးလိုအပျခကျြ

  • ဒီ Big data တွေကိုလေ့ကျင့်ရေးယူရန်နှင့် Hadoop ကျွမ်းကျင်မှ Pre-လိုအပ်ချက်မျှရှိပါသည်။ သို့သော် UNIX ၏အခြေခံ, SQL နဲ့ java good.At Intellipaat ပါလိမ့်မယ်သင်အပေါ် Hadoop သင်ယူမှုလမ်းကြောင်းကောင်းသောဖြစ်ကြောင်းဒါကြောင့်ကျနော်တို့ဖြီး-up, ငါတို့၏ကိုယ် Big Data လက်မှတ်လေ့ကျင့်ရေးနှင့်အတူလိုအပ်သောကျွမ်းကျင်မှု complimentary Unix နဲ့ Java သင်တန်းသည်။

သင်တန်းအမှတ်စဥ်ကောက်ကြောင်း Duration: 2 နေ့ရက်များ

Big Data & Hadoop နှင့်၎င်း၏ဂေဟစနစ်ဖို့နိဒါန်း, မြေပုံလျှော့ချခြင်းနှင့် HDFS

ပွား, Block ကိုအရွယ်အစား, က Secondary Namenode, အမြင့်ရရှိနိုင်, နားလည်မှုချည်ခင် - - ResourceManager, NodeManager, 1.x နှင့် 2.x အကြားကွာခြားချက်အဘယ်မှာရှိ Hadoop အတွက် fit ပါဘူး, Hadoop Distributed File System Big Data, ဘာလဲ

Hadoop တပ်ဆင်ခြင်း & setup ကို

Hadoop 2.x Cluster ဗိသုကာပညာ, ဖက်ဒရေးရှင်းနှင့်မြင့်မားသောရရှိနိုင်, တစ်ဦးကပုံမှန်ထုတ်လုပ်မှု Cluster setup ကို, Hadoop Cluster mode, အဖြစ်များသည့် Hadoop Shell ကတပ်မှူး Hadoop 2.x configuration file, Cloudera လူပျို node ကိုစပျစ်သီးပြွတ်

Mapreduce အတွက်နက်ရှိုင်းထိုးဆင်း

မည်သို့ Mapreduce လျှော့အလုပ်လုပ်တယ်ကဘယ်လိုအလုပ်လုပ်, မည်သို့ယာဉ်မောင်းအကျင့်ကိုပေါင်းစပ်, partitioner က, Input အား Formats, Output Formats, မွှေနှောက်နှင့်စီ, Mapside ပါတီဝင်ဖြစ်ခဲ့ပါတယ်, ဘေးထွက်ပါတီဝင်ဖြစ်ခဲ့ပါတယ် Reduce, MRUnit, Cache Distributed

Lab မှလေ့ကျင့်ခန်း:

ပေါင်းစပ်နှင့်အတူ Mapreduce, ထုံးစံ partitioner က Writing, HDFS, Writing WordCount အစီအစဉ်နှင့်အလုပ်လုပ်, မြေပုံဘေးထွက်ကို Join, ဘေးထွက်ပါတီဝင်ဖြစ်ခဲ့ပါတယ် Reduce, ယူနစ်စမ်းသပ်ခြင်း Mapreduce, LocalJobRunner Mode တွင် Mapreduce ကို run

ဇယားပြဿနာဖြေရှင်းခြင်း

, ဇယားမြေပုံ၏ဥပမာကိုလျှော့ချခြင်း, ဇယား Algorithm လုပ်ဖို့ဘယ်လိုဇယား, ဇယားကိုယ်စားပြုမှု, အနံပထမဦးဆုံးရှာရန် Algorithm, မြေပုံ၏ဇယားကိုယ်စားပြုမှုကိုလျှော့ချကဘာလဲ

    လေ့ကျင့်ခန်း 1: လေ့ကျင့်ခန်း 2: လေ့ကျင့်ခန်း 3:

ဝက်၏အသေးစိတ်နားလည်မှု

ဝက်ဖို့အေနိဒါန်း

Apache ကိုဝက်, အ features တွေအမျိုးမျိုးအသုံးပြုမှုနှင့်ဝက်နှင့်အတူအပြန်အလှန်သင်ယူနားလည်ခြင်း

ဒေတာခွဲခြမ်းစိတ်ဖြာဘို့ခအသုံးချဝက်

ဝက်လက်တင်၏ syntax, ETL, ဒေတာတင်, schema ကြည့်, လယ်ပြင်အဓိပ္ပာယ်, အသုံးအများဆုံးလုပ်ဆောင်ချက်များကိုများအတွက်ဝက်စေလွှတ်အမျိုးမျိုးသောအဓိပ္ပာယ်, ဒေတာမျိုးနှင့်စစ်ထုတ်ကိရိယာများ, ဒေတာအမျိုးအစားများ။

ရှုပ်ထွေးသောဒေတာအပြောင်းအလဲနဲ့အဘို့အ C. ဝက်

အမျိုးမျိုးသောအသိုက်နှင့်ရှုပ်ထွေးသောအပါအဝင်ဒေတာအမျိုးအစားများ, ဝက်နှင့်အတူအပြောင်းအလဲနဲ့ဒေတာ, အုပ်စုဖွဲ့ဒေတာကြားမှာ, လက်တွေ့ကျသောလေ့ကျင့်ခန်း

Multi-Datasets စစ်ဆင်ရေးဖျော်ဖြေဃ

ဒေတာကို, ဒေတာအစုခွဲပူးပေါင်း set, ဒေတာများအတွက်အမျိုးမျိုးသောနည်းလမ်းများပေါင်းစပ်ပြီး ထား. စစ်ဆင်ရေး set, လက်-on ကိုစစ်ရေးလေ့ကျင့်ခန်း

အီးဝက်ကိုတိုးချဲ့နေ

, အသုံးပြုသူသတ်မှတ်ထားသောလုပ်ငန်းဆောင်တာကိုနားလည်ခြင်းအခြားဘာသာစကားများ, တင်သွင်းမှုနှင့်ဘာလို့လဲဆိုတော့ Micro စနစ်နဲ့အခြားသောနှင့်အတူဒေတာအပြောင်းအလဲနဲ့ဖျော်ဖြေ, ဝက်တိုးချဲ့ဖို့ streaming များနှင့် UDFs သုံးပြီးလက်တွေ့ကျတဲ့လေ့ကျင့်ခန်း

အက်ဖ်ဝက်ဂျော့ဘ်

ဖြစ်ရပ်လေ့လာမှုအဖြစ် Walmart နှင့် Electronic Arts တို့ပါဝင်သောအမှန်တကယ်ဒေတာအစုံနှငျ့အလုပျလုပျ

အုံ၏အသေးစိတ်နားလည်မှု

A. အအုံနိဒါန်း

အုံနဲ့အုံ၏အုံ schema, အုံအပြန်အလှန်နှင့်အမျိုးမျိုးသောအသုံးပြုမှုကိစ္စများတွင် data တွေကိုသိုလှောင်အုံ, အုံ, ဝက်နှင့်အုံနှိုင်းယှဉ်နှင့်အတူအစဉ်အလာဒေတာဘေ့စနှိုင်းယှဉ်, နားလည်ခြင်း

relational data တွေကိုခွဲခြမ်းစိတ်ဖြာဘို့ခအုံ

HiveQL အခြေခံ syntax, အမျိုးမျိုးသောစားပွဲနှင့် databases ကို, ဒေတာအမျိုးအစားများကိုနားလည်ခြင်း, ဒေတာ Scripts, shell ကိုနှင့် Hue အပေါ်အုံမေးမြန်းချက်စေလွှတ်, built-in function တွေကိုအမျိုးမျိုးသော, ပူးပေါင်းထားကြ၏။

အုံနှင့်အတူ C. ဒေတာများကိုစီမံခန့်ခွဲမှု

အမျိုးမျိုးသော databases ကို, databases ကို၏ဖန်ဆင်းခြင်း, အုံထဲမှာဒေတာကို formats, ဒေတာမော်ဒယ် databases ကိုနှင့်ဇယားပြောင်းလဲနေတဲ့အုံ-managed ဇယား, Self-managed ဇယား, ဒေတာတင်, Views စာနှင့်အတူစုံစမ်းမှုရိုးရှင်းလွယ်ကူတာ, မေးမြန်းချက်၏ရလဒ်သိမ်းဆည်းသော, ဒေတာ access ကိုထိန်းချုပ်မှု, ဒေတာကိုစီမံခန့်ခွဲ အုံ, အုံ Metastore နှင့်တစ်ပတ်ရစ် server ကိုအတူ။

အုံ၏ဃ Optimization

မေးမြန်းမှု, ဒေတာ indexing, ပိုင်ခြားခြင်းနှင့်ရေပုံး၏သင်ယူခြင်းစွမ်းဆောင်ရည်ကို

အီးအုံကိုတိုးချဲ့နေ

အုံတိုးချဲ့ဘို့အသုံးပြုသူသတ်မှတ်ထားသောလုပ်ဆောင်ချက်များကိုစေလွှတ်

စစ်ရေးလေ့ကျင့်မှုအပေါ်အက်ဖ်လက်စွဲ - ကြီးမားတဲ့ data တွေကိုအစုံနှင့်ကျယ်ပြန့် query အတူလုပ်ကိုင်

ဒေတာအစုံနှင့် querying ပမာဏ၏ကြီးမားသော volumes ကိုများအတွက်အုံစေလွှတ်

G. အ UDF, စုံစမ်းမှု optimization

, မေးမြန်းချက်ပိုကောင်းအောင်ဘယ်လိုစွမ်းဆောင်ရည် tuning လုပ်ဖို့အမျိုးမျိုးသောနည်းလမ်းများသင်ယူခြင်း, အသုံးပြုသူသတ်မှတ်ထားသောမေးမြန်းနည်းဖြင့်ကျယ်ကျယ်အလုပ်လုပ်နေ။

Impala

Impala မှအေနိဒါန်း

Impala Impala Impala ဟာ Impala ရှဲလ်အသုံးပြုခြင်း, Relational Database ကို, န့်သတ်ချက်များနှင့်အနာဂတ်ဦးတည်ထံမှခြားနားပုံ, အုံများနှင့်ဝက်ကနေခြားနားပုံ ?, ကဘာလဲ

အကောင်းဆုံး (အုံ, ဝက်, Impala) ရွေးချယ်ခြင်းခ

Impala နှင့်အုံနှင့်အတူ C. မော်ဒယ်လင်းနှင့်မန်နေးဂျင်းဒေတာများ

ဒေတာများသိုလှောင်ခြုံငုံသုံးသပ်ချက်, Tables သို့ data ကို Loading, Databases နှင့်ဇယား Creating, HCatalog, Impala Metadata cache

ဃဒေတာများကို partition

partition ခြုံငုံသုံးသပ်ချက်, Impala အတွက် partition နှင့်အုံ

(AVRO) မှာ Data Formats

Avro စီမံချက် Evolution, Compression ကို, အုံနှင့် Sqoop နှင့်အတူ Avro အသုံးပြုခြင်း, တစ်ဦးဖိုင်မှတ်တမ်း Format ကို, file format များအတွက် Tool ကိုပံ့ပိုး, Avro schemas ရွေးချ

Hbase ဗိသုကာဖို့နိဒါန်း

က NOSQL ကဘာလဲ, ကိုက်ညီပါဘူးဘယ်မှာ Hbase, ဘာလဲ

Apache ကို Spark

A. အဘယျကွောငျ့အအစပျိုး? Spark နှင့် Hadoop Distributed File System နှင့်အလုပ်လုပ်

Spark Spark ၏အစိတ်အပိုင်းများ, Spark နှင့် Hadoop အကြားနှိုင်းယှဉ်ဘာလဲ

ခ Spark Components, အဖြစ်များသည့် Spark အယ်လဂိုရီသမ်-ကြားမှာအယ်လဂိုရီသမ်, ဇယားအားသုံးသပ်ခြင်း, စက်သင်ယူ

Apache ကို Spark- နိဒါန်း, တသမတ်တည်း, ရရှိနိုင်, Partition ခွဲ, Unified Stack Spark, Components အစပျိုးဥပမာ Scalding, mahout, မုန်တိုင်း, ဂရပ်

C. တစ် Cluster အပေါ် Spark ကို run Python ကို, Java Scala သုံးပြီး Spark Applications ကို Writing

တစ်ဦးမီးပွားကို install ပြရန်ဥပမာအတူမီးပွားအခြေအနေတွင်ရှင်းပြ, ဒရိုင်ဘာအစီအစဉ်ကိုရှင်းပြပါ Python နှင့်ဥပမာအားရှင်းပြပါ, အားနည်းစွာရိုက်နှိပ် variable ကို Define, ချောမွေ့စွာ scala နှင့် java ပေါင်းစပ်, တစ်ပြိုင်နက်တည်းဖြန့်ဖြူးရှင်းပြပါ။ , ရိုကဘာလဲဆိုတာရှင်းပြပါ, ဥပမာတွေနဲ့မြင့်မားတဲ့အမိန့် function ကိုရှင်းပြပါ, OFI Define Scheduler, Spark ၏အားသာချက်များ, မီးပွားကို အသုံးပြု. Lamda ၏ဥပမာ, သာဓကနှင့်အတူ Mapreduce ရှင်းပြပါ

Hadoop Cluster တည်ဆောက်ခြင်းနဲ့မြေပုံဂျော့ Reduce ကို run

Cluster အပေါ်မြေပုံဂျော့ Reduce ကို run, 2 node ကိုစပျစ်သီးပြွတ် setup ကို Creating - အမေဇုံ ec4 သုံးပြီး multi Node Cluster Setup ကို

ဗိုလ်မှူးစီမံကိန်း - အတူတူကအားလုံးကိုခြင်းနှင့် Dots ချိတ်ဆက်ခြင်း

အတူတူကအားလုံးကိုချပြီးနှင့်အကြီးစားဒေတာအစုံနှင့်အလုပ်လုပ် Dots, ကြီးမားတဲ့ data တွေကိုခွဲခြားစိတ်ဖြာတွင်ပါဝင်ပတ်သက်ခြေလှမ်းများချိတ်ဆက်ခြင်း

Hadoop ဂေဟစနစ်နှင့်အတူ ETL ဆက်သွယ်မှု

ဘယ်လို ETL tools တွေကို ETL ရပ်တန့်ရန်, မြေပုံ ETL tool ကိုအတွက်အလုပ်အကိုင်အ Reduce Creating, ETL Tool ကိုအတူအုံနှင့်အလုပ်လုပ်, DBMS ကနေ HDFS မှဒေတာများ Moving, ETL tool ကိုထံမှ HDFS ချိတ်ဆက်ခြင်းနှင့် HDFS မှဒေသခံ system ထဲကနေဒေတာတွေကိုရွေ့လျား, Big data တွေကိုစက်မှုလက်မှုလုပ်ငန်းရှင်များအတွက်အဆုံးအလုပ်မလုပ် ETL tool ကိုအတူကြီးမားတဲ့ data တွေကိုပေါင်းစည်းမှုဖေါ်ပြခြင်း PoC ။

စပျစ်သီးပြွတ် Configuration

configuration ခြုံငုံသုံးသပ်ချက်နှင့်အရေးကြီးသော configuration ဖိုင်, configuration parameters တွေကိုနှင့်တန်ဖိုးများကို, HDFS MapReduce parameters တွေကို, Hadoop ပတ်ဝန်းကျင် setup ကို parameters, 'Include' 'နှင့် configuration ဖိုင်များ, Lab က' 'ဖယ်ထုတ်': MapReduce စွမ်းဆောင်ရည်ချိုးကွေ့

အုပ်ချုပ်ရေးနဲ့ Maintenance

Namenode / Datanode directory ကိုအဆောက်အဦများနှင့်ဖိုင်များ, ဖိုင်မှတ်တမ်းစနစ်ကပုံရိပ်နဲ့ Edit မှတ်တမ်း, အဆိုပါစစ်ဆေးရေးဂိတ်လုပ်ထုံးလုပ်နည်း, Namenode ပျက်ကွက်နှင့်ပြန်လည်ထူထောင်ရေးလုပ်ထုံးလုပ်နည်း, Safe Mode ကို, Metadata နှင့်ဒေတာများ backup လုပ်ထား, အလားအလာပြဿနာတွေနဲ့ဖြေရှင်းချက် / အရာကိုကြည့်ရှုခြင်းငှါ, node များထည့်သွင်းခြင်းနှင့်ဖယ်ရှားခြင်း, Lab မှ: MapReduce ဖိုင်မှတ်တမ်း system ကို Recovery ကို

စောင့်ကြည့်လေ့လာခြင်းနှင့်ပြဿနာဖြေရှင်းခြင်း

တစ်စပျစ်သီးပြွတ်စောင့်ကြည့်စောင့်ကြည့်မှုများနှင့်ပြဿနာဖြေရှင်းခြင်းအဘို့အမှတ်တမ်းများနှင့် stack ခြေရာတွေကိုအသုံးပြုခြင်းသည်စပျစ်သီးပြွတ်စောင့်ကြည့်ဖို့ Open-source ကို tools များအသုံးပြုခြင်း၏အကောင်းဆုံးအလေ့အကျင့်

ယောဘသည် Scheduler ကို: မြေပုံအလုပ်တင်သွင်းခဲ့တဲ့စီးဆင်းမှုကိုလျှော့ချ

, တူညီတဲ့စပျစ်သီးပြွတ်အပေါ် FIFO ဇယား, တရားမျှတသော Scheduler ကိုနှင့်၎င်း၏ဖွဲ့စည်းမှုပုံစံဂျော့အချိန်စာရင်းကိုဘယ်လို

multi Node Cluster Setup ကိုနဲ့ Amazon Ec2 အပေါ်မြေပုံဂျော့ Reduce ကို run

Cluster အပေါ်မြေပုံဂျော့ Reduce ကို run, 2 node ကိုစပျစ်သီးပြွတ် setup ကို Creating - အမေဇုံ ec4 သုံးပြီး multi Node Cluster Setup ကို

ZOOKEEPER

ZOOKEEPER နိဒါန်း, ZOOKEEPER အသုံးပြုမှုကိုအမှုပေါင်း, ZOOKEEPER န်ဆောင်မှုများ, ZOOKEEPER data တွေကိုမော်ဒယ်, Znodes နှင့်၎င်း၏အမျိုးအစားများ, Znodes စစ်ဆင်ရေး, Znodes Znodes, သီးသန့်သော့ခတ် Distributed, အရေးကြီးအချက်များကိုဖတ်ခြင်းနှင့်ရေးသားခဲ့သည်, တသမတ်တည်းအာမခံ, Cluster စီမံခန့်ခွဲမှု, ခေါင်းဆောင်ရွေးကောက်ပွဲ, ချောင်းမြောင်း

ကြိုတင်မဲ Oozie

အဘယ်ကြောင့် Oozie ?, Oozie Installing, ဥပမာတစ်ခုကို run, Oozie- လုပ်ငန်းအသွားအလာအင်ဂျင်, ဥပမာ M / R ကိုအရေးယူ, သမ်မာကမျြးဥပမာမှတ်, လုပ်ငန်းအသွားအလာလျှောက်လွှာ, လုပ်ငန်းအသွားအလာတင်သွင်းခဲ့တဲ့, လုပ်ငန်းအသွားအလာပြည်နယ်အသွင်ကူးပြောင်းမှု, Oozie အလုပ်အပြောင်းအလဲနဲ့, Oozie လုံခြုံရေး, အဘယ်ကြောင့် Oozie လုံခြုံရေး ?, ယောဘကိုတင်သွင်းခဲ့တဲ့ , Multi အိမ်ငှားနှင့်အပေါ်တွင်ကျွမ်းကျင်ပိုင်နိုင်မှု, Oozie အလုပ်၏အချိန်မျဉ်းတစ်ကြောင်း, ညှိနှိုင်းရေးမှူး Bundle ကို, abstraction ၏ Layers, ဗိသုကာ, အသုံးပြုမှုဖြစ်ရပ်မှန် 1: ဒေတာနှင့်အချိန်အစပျိုးခြင်း, အသုံးပြုခြင်းဖြစ်ရပ်မှန် 2: လှိမ့်ဒိုးအချိန်အသုံးပြုမှုဖြစ်ရပ်မှန် 3 ကိုအစပျိုးလိုက်ခြင်း

ကြိုတင်မဲ Flume

Apache ကို Flume, ကိုယ်ထိလက်ရောက်ဖြန့်ဝေဖို့ဒေတာအရင်းအမြစ်, စားသုံးမိပါဖို့ဒေတာ၏ဖွဲ့စည်းပုံမှာ, ပိုမိုနီးကပ်စွာကြည့်, Flume ၏ခန္ဓာဗေဒ, Core သဘောတရားများ, ပွဲ, Clients, ကိုယ်စားလှယ်, အရင်းအမြစ်, ချန်နယ်များသည်နစ်မြုပ်, ကြားဖြတ်, Channel ကို selector, နစ်မြုပ် Processor, ဒေတာများပြောင်းခြင်း, အေးဂျင့်ပိုက်လိုင်းခြုံငုံသုံးသပ်ချက် , အရောင်းအဝယ် data တွေကိုဖလှယ်, လမ်းကြောင်းများနှင့်ပွား, အဘယ်ကြောင့်လိုင်းများ ?, အသုံးပြုခြင်း, စုစည်းမှု Log flume အေးဂျင့်ပေါင်းထည့်ခြင်း, ဆာဗာလယ်ယာကိုင်တွယ်ခြင်း case-, အေးဂျင့်တစ်ဦးလျှင်ဒေတာများကိုအသံအတိုးအကျယ်, ဥပမာတစ်ခုတည်း node ကို flume ဖြန့်ကျက်ဖော်ပြ

ကြိုတင်မဲ Hue

Hue မိတ်ဆက်စကား, Hue ဂေဟစနစ်, Hue ?, Hue အစစ်အမှန်ကမ္ဘာကရှုမြင် File Browser ထဲမှာဒေတာတွေကို upload လုပ်နည်း, Hue ၏ကောင်းကျိုးများကဘာလဲ ?, HDFS ပေါင်းစပ်ခြင်းအသုံးပြုသူများပေါင်းစပ်ခြင်း, အကြောင်းအရာ View, Hue Frontend ၏အခြေခံစည်းမျဉ်း

ကြိုတင်မဲ Impala

IMPALA ခြုံငုံသုံးသပ်ချက်: ရည်မှန်းချက်များ, Impala ၏အသုံးပြုသူအမြင်: ခြုံငုံသုံးသပ်ချက်, Impala ၏အသုံးပြုသူအမြင်: SQL, Impala ၏အသုံးပြုသူအမြင်: Apache ကို HBase, Impala ဗိသုကာ, Impala ပြည်နယ်စတိုးဆိုင်, Impala catalog ဝန်ဆောင်မှု, Query ကွပ်မျက်အဆင့်, အုံမှ Impala Comparing

Hadoop လျှောက်လွှာစမ်းသပ်ခြင်း

စမ်းသပ်ခြင်းအရေးကြီးသော, ယူနစ်စမ်းသပ်ခြင်း, ပေါင်းစည်းရေးစမ်းသပ်ခြင်း, စွမ်းဆောင်ရည်စမ်းသပ်ခြင်း, ရှာဖွေရေး, ညစဉ်ညတိုင်း QA သို့စမ်းသပ်မှု, Benchmark များနှင့်စမ်းသပ်မှုများအဆုံးသတ်ရန်အဆုံးသတ်, Functional စမ်းသပ်ခြင်း, ဖြန့်ချိလက်မှတ်စမ်းသပ်ခြင်း, လုံခြုံရေးစမ်းသပ်ခြင်း, အရွယ်မှာစမ်းသပ်ခြင်း, ကော်မရှင်နှင့်ဒေတာများဆုံမှတ်များစမ်းသပ်ခြင်း, ယုံကြည်စိတ်ချရသောစမ်းသပ်၏ Decommissioning သည်အဘယ်ကြောင့် , ဖြန့်ချိစမ်းသပ်ခြင်း

Hadoop စမ်းသပ်ခြင်း Professional က၏အခန်းကဏ္ဍနှင့်တာဝန်ဝတ္တရားများ

ယင်းလိုအပ်ချက်, ထိုစမ်းသပ်ခြင်းခခနျ့မှနျး၏ပြင်ဆင်မှု, စမ်းသပ်မှုများ, စမ်းသပ်ဖို့ဒေတာ, စမ်းသပ်အိပ်ရာဖန်ဆင်းခြင်း, စမ်းသပ်ခြင်း Execution, ချွတ်ယွင်းချက်များအစီရင်ခံ, ချို့ယွင်းချက် Retest, Daily သတင်းစာအခြေအနေအစီရင်ခံစာပေးပို့, စမ်းသပ်မှုပြီးစီးသည်စင်မြင့်မှာ ETL စမ်းသပ်ခြင်း (HDFS, အုံ, HBASE) အနေဖြင့်နားလည်ခြင်း အစီရင်ခံစာအပြစ်အနာဖွံ့ဖြိုးတိုးတက်ရေးအဖွဲ့သို့မဟုတ်မန်နေဂျာနှင့်မောင်းနှင်မှုဖို့, ပါဝင်သည်ပေမယ့်ဒေတာများကိုစိစစ်အတည်ပြုပေးဖို့ကန့်သတ်မရသည့် sqoop / flume သုံးပြီး (မှတ်တမ်းများ / ဖိုင်တွေ / မှတ်တမ်းများစသည်တို့) ပြန်လည်သင့်မြတ်ရေး, အသုံးပြုသူခွင့်ပြုချက်နှင့်အထောက်အထားစိစစ်စမ်းသပ်ခြင်း (အဖွဲ့များ, အသုံးပြုသူများ, အခွင့်အရေးများစသည်တို့) ကို input ကို loading သူတို့ကိုပိတ်ပစ်ရန်, အပေါငျးတို့သချို့ယွင်းချက်ခိုင်မာအောင်နှင့်ချွတ်ယွင်းအစီရင်ခံစာများဖန်တီး Core Hadoop အတွက် feature အသစ်နှင့်ပြဿနာများအားအတည်ပြု။

မူဘောင်မြေပုံ-Reduce Programs ကို၏စမ်းသပ်ခြင်းများအတွက် MR ယူနစ်ကိုခေါ်

အစီရင်ခံစာအပြစ်အနာဖွံ့ဖြိုးတိုးတက်ရေးအဖွဲ့သို့မဟုတ်မန်နေဂျာနှင့်ပိတ်သိမ်းဖို့သူတို့ကိုကားမောင်းလုံးကိုခြှတျယှငျးခိုင်မာအောင်နှင့်မြေပုံ-Reduce အစီအစဉ်များ testing အတွက် MR ယူနစ်ဟုခေါ်သည့်စမ်းသပ်မူဘောင်အတွက်တာဝန်ရှိချွတ်ယွင်းအစီရင်ခံစာများ, ဖန်တီးပါ။

ယူနစ်စမ်းသပ်ခြင်း

အဆိုပါမေးမြန်းမှုမြင့်တက် tool ကိုသုံးပြီး OOZIE, ဒေတာများကိုအတည်ပြုသုံးပြီးအလိုအလျောက်စမ်းသပ်ခြင်း။

စမ်းသပ်ခြင်း Execution

HDFS အဆင့်မြှင့်, test အလိုအလျောက်များနှင့်ရလဒ်အဘို့စမ်းသပ်အစီအစဉ်

စမ်းသပ်ခြင်း Hadoop လျှောက်လွှာအဘို့စမ်းသပ်စီမံကိန်းမဟာဗျူဟာနှင့်အရေးအသားစမ်းသပ်မှုများ

တပ်ဆင်ရန်နှင့် configure စမ်းသပ်ဖို့ကိုဘယ်လို

ယောဘသည်နှင့်လက်မှတ်ထုတ်ပေးရေးပံ့ပိုးမှု

Cloudera လက်မှတ်ထုတ်ပေးရေးသိကောင်းစရာများနှင့်လမ်းညွှန်မှုနှင့်အကဲ့ရဲ့အင်တာဗျူးအဘိတ်, လက်တွေ့ဖွံ့ဖြိုးရေးသိကောင်းစရာများနှင့်နည်းပညာ

မှာကျွန်တော်တို့ကိုရေးပါ info@itstechschool.com & သင်တန်းစျေးနှုန်း & လက်မှတ်ကုန်ကျစရိတ်, အချိန်ဇယား & တည်နေရာ + 91-9870480053 မှာကျွန်တော်တို့ကိုဆက်သွယ်နိုင်ပါသည်

ကြှနျုပျတို့ကိုတစ်ဦး Query drop

ဤသည်သင်တန်းနှစ်ဦးစလုံးသငျသညျရှင်းရှင်းလင်းလင်းကိုကူညီဖို့ဒီဇိုင်းပြုလုပ် Cloudera Spark နှင့် Hadoop ရေးသားသူလက်မှတ်ထုတ်ပေးရေး (CCA175) စာမေးပွဲနှင့် Apache ကို Hadoop များအတွက် Cloudera လက်မှတ်ရအုပ်ချုပ်ရေးမှူး (CCAH) စာမေးပွဲ။ တစ်ခုလုံးကိုသင်တန်းအကြောင်းအရာနှစ်ခုလက်မှတ်အစီအစဉ်များနှင့်အညီဖြစ်ပြီး, သငျသညျငွိမျဝနှင့်အတူဤလက်မှတ်စာမေးပွဲရှင်းလင်းခြင်းနှင့်ထိပ် MNCs အတွက်အကောင်းဆုံးအလုပ်အကိုင်များရရှိရန်ကူညီပေးသည်။

ဒီသင်တန်း၏အစိတ်အပိုင်းတစ်ရပ်အဖြစ်သငျသညျ, အရှင်သငျသညျအစာရှောငျမစိုက်သင့်ရဲ့အသက်မွေးဝမ်းကျောင်းကိုခြေရာခံကူညီပေးနေအစစ်အမှန်ကမ္ဘာကစက်မှုလုပ်ငန်းဇာတ်လမ်းအတွက်ကြီးမားသက်ရောက်မှုရှိသည်အစစ်အမှန်အချိန်စီမံကိန်းများနှင့်တာဝန်ကျအလုပ်လုပ်ပါလိမ့်မည်။

ဒီလေ့ကျင့်ရေးအစီအစဉ်၏အဆုံးမှာဿုံသက်ဆိုင်ရာအသိအမှတ်ပြုလက်မှတ်စာမေးပွဲအတွက်ဟုမေးမေးခွန်းများကိုအမျိုးအစားကိုရောင်ပြန်ဟပ်နှင့်သင်အသိအမှတ်ပြုလက်မှတ်စာမေးပွဲအတွက်ပိုကောင်းတဲ့အမှတ်အသားများဂိုးသွင်းအထောက်အကူပြုဉာဏ်စမ်းပဟေဠိရှိရလိမ့်မည်။

၎င်းတို့အားသင်တန်းပြီးစီးလက်မှတ် (ကျွမ်းကျင်သူပြန်လည်သုံးသပ်အပေါ်) Project မှအလုပျ၏ပြီးစီးအပေါ်နှင့်ပဟေဠိအနည်းဆုံး 60% အမှတ်အသားများ၏အမှတ်ပေးအပေါ်သို့ချီးမြှင့်ပါလိမ့်မယ်။ Intellipaat လက်မှတ်ကောင်းစွာထိပ်တန်း 80 + Ericsson က, Cisco သည်, သိမှ, Sony, Mu Sigma, etc, Saint-Gobain, Standard Chartered ဘဏ်ဟာ, ကိုလန်ဘို, Genpact, Hexaware ကဲ့သို့ MNCs အတွက်အသိအမှတ်ပြု

ကြင်နာစွာပိုပြီးအင်ဖိုအတွက် ကြှနျုပျတို့ကိုဆကျသှယျရနျ။


reviews