ტიპისაკლასო სასწავლო
დარეგისტრირება

დიდი მონაცემების ჰოსოპის სერტიფიცირების კურსი

დიდი მონაცემთა Hadoop სერტიფიცირების კურსი და ტრენინგი

მიმოხილვა

აუდიტორია და წინაპირობები

კურსის შინაარსი

განრიგი და მოსაკრებლები

სერტიფიკაციის

დიდი მონაცემთა Hadoop სერტიფიცირების კურსი მიმოხილვა

ეს არის ყოვლისმომცველი Hadoop დიდი მონაცემთა სასწავლო კურსი მიერ შემუშავებული ინდუსტრიის ექსპერტები გათვალისწინებით მიმდინარე ინდუსტრიის სამუშაო მოთხოვნები უზრუნველყოს სიღრმისეული სწავლის დიდი მონაცემები და Hadoop მოდულები. ეს არის ინდუსტრიის დიდი მონაცემთა სერტიფიცირების სასწავლო კურსი, რომელიც არის ჰოოპოს დეველოპერის, Hadoop ადმინისტრატორის, Hadoop ტესტირებისა და ანალიზის სასწავლო კურსის კომბინაცია. ეს Cloudera Hadoop ტრენინგი მოამზადებს დიდ მონაცემების სერტიფიცირების გასაგებად.

მიზნები

  • Hadoop 2.7 და YARN- ის სამაგისტრო საფუძვლები და დაწერა მათ მიერ გამოყენებული აპლიკაციები
  • შექმნის Pseudo კვანძის და მრავალ კვანძის კასეტური on Amazon EC2
  • სამაგისტრო HDFS, MapReduce, Hive, Pig, Oozie, Sqoop, Flume, Zookeeper, HBase
  • Learn Spark, Spark RDD, გრაფიკა, MLlib წერილობით Spark პროგრამები
  • სამაგისტრო Hadoop ადმინისტრაციის საქმიანობა, როგორიცაა კასეტური მმართველი, მონიტორინგი, ადმინისტრირება და troubleshooting
  • კონფიგურაცია ETL ინსტრუმენტები, როგორიცაა Pentaho / Talend მუშაობა MapReduce, Hive, Pig და ა.შ.
  • დიდი მონაცემთა ანალიზის დეტალური გაგება
  • Hadoop ტესტირება განაცხადების გამოყენებით MR ერთეულის და სხვა ავტომატიზაციის ინსტრუმენტები.
  • მუშაობა ავრო მონაცემთა ფორმატებთან
  • პრაქტიკა რეალურ ცხოვრებაში პროექტები გამოყენებით Hadoop და Apache Spark
  • აღჭურვილია დიდი მონაცემთა Hadoop სერტიფიკაციის გასარკვევად.

განკუთვნილია აუდიტორია

  • პროგრამირების დეველოპერები და სისტემური ადმინისტრატორები
  • გამოცდილი სამუშაო პროფესიონალები, პროექტის მენეჯერები
  • Big DataHadoop- ის დეველოპერები ცდილობენ ისწავლონ სხვა ვერტიკალებს, როგორიცაა ტესტირება, ანალიტიკა, ადმინისტრაცია
  • Mainframe პროფესიონალები, არქიტექტორები და ტესტირება პროფესიონალები
  • ბიზნეს დაზვერვა, მონაცემთა სასაწყობო და ანალიტიკა პროფესიონალები
  • კურსდამთავრებულები, ბაკალავრიატი უნდა შეიძინონ უახლესი Big Data ტექნოლოგია შეუძლია მიიღოს ამ დიდი მონაცემთა Hadoop სერტიფიცირების ონლაინ სასწავლო

წინაპირობები

  • არ არსებობს წინასწარი საჭიროება ამ დიდი მონაცემთა ტრეინინგის ჩატარებასა და ჰადოსპიის დასაუფლებლად. მაგრამ UNIX- ის, SQL- ის და Java- ს საფუძვლები კარგი იქნებოდა. Intellipaat- ს, ჩვენ გთავაზობთ დიდ უნიკალურ და ჯავის კურსს ჩვენი დიდი მონაცემთა სერტიფიცირების ტრენინგთან, რათა საჭირო უნარ-ჩვევები გაეკეთებინათ ისე, რომ თქვენ კარგად ხართ Hadoop სწავლის გზაზე.

კურსის შინაარსი ხანგრძლივობა: 2 დღე

შესავალი დიდი მონაცემთა და Hadoop და მისი Ecosystem, რუკა შემცირება და HDFS

რა არის დიდი მონაცემები, სად არის Hadoop შეესაბამება, Hadoop განაწილებული ფაილური სისტემა - რეპლიკაციები, ბლოკი ზომა, საშუალო Namenode, მაღალი ხელმისაწვდომობა, გააზრება YARN - ResourceManager, NodeManager, სხვაობა 1.x და 2.x

Hadoop ინსტალაცია და კონფიგურაცია

Hadoop 2.x კასეტური არქიტექტურა, ფედერაცია და მაღალი ხელმისაწვდომობა, ტიპიური წარმოების კასეტური კონფიგურაცია, Hadoop კასეტური რეჟიმი, საერთო Hadoop Shell ბრძანებები, Hadoop 2.x კონფიგურაციის ფაილები, Cloudera Single კვანძის კასეტური

ღრმა Dive in Mapreduce

როგორ მუშაობს სარეაბილიტაციო სამუშაოები, როგორ მუშაობს მძღოლები, კომბინერები, მონაწილეები, შეყვანის ფორმატები, გამოყვანის ფორმატები, ჩანაფიქრი და სორტირება, რუკები შემოერთება, შემცირება გვერდითი მიერთება, MRUnit, განაწილებული ქეში

ლაბორატორიის წვრთნები:

მუშაობა HDFS, წერა WordCount პროგრამა, წერის საბაჟო partitioner, Mapreduce ერთად Combiner, რუკა Side შეუერთდება, შემცირება გვერდითი უერთდება, ერთეულის ტესტირება Mapreduce, Running Mapreduce in LocalJobRunner რეჟიმი

გრაფის პრობლემა გადაჭრა

რა არის დიაგრამა, გრაფიკული წარმომადგენლობა, სიგნალი პირველი ძებნა ალგორითმი, გრაფიკული წარმოდგენა რუკის შემცირება, როგორ გავაკეთოთ გრაფი ალგორითმი, მაგალითი Graph რუკა შემცირება,

    სწავლება 1: სავარჯიშო 2: სწავლება 3:

დეტალური გაგება Pig

A. შესავალი Pig

გაცნობა Apache Pig, თვისებები, სხვადასხვა მიზნებისათვის და სწავლის ურთიერთქმედება Pig

B. მონაცემთა ბაზის ანალიზისთვის ღორის შეყვანა

სინტაქსი Pig Latin, სხვადასხვა განმარტებები, მონაცემთა დალაგების და ფილტრი, მონაცემთა ტიპები, განთავსება Pig ამისთვის ETL, მონაცემთა loading, სქემა მაყურებელი, სფეროში განმარტებები, ფუნქციები გამოიყენება.

C. ღორის კომპლექსი მონაცემთა დამუშავებისათვის

სხვადასხვა სახის მონაცემთა ტიპები, მათ შორის წყობილი და კომპლექსური, დამუშავების მონაცემები Pig, დაჯგუფებული მონაცემთა გამათბობელი, პრაქტიკული სწავლება

D. შესრულებადი მრავალენოვანი მონაცემთა ნაკრებს

მონაცემთა ნაკრები გაწევრიანება, მონაცემთა გაყოფა, სხვადასხვა მეთოდები მონაცემთა კომპლექტი აერთიანებს, კომპლექტი ოპერაციების, პრაქტიკული სწავლება

E. გაგრძელების Pig

გაცნობა მომხმარებლის განსაზღვრული ფუნქციები, მონაცემთა დამუშავება სხვა ენებთან, იმპორტებსა და მაკროსებთან, ნაკადითა და UDF- ების გამოყენებით Pig, პრაქტიკული სავარჯიშოების გასაგრძელებლად

F. Pig ვაკანსიები

რეალურ მონაცემებთან მუშაობა მუშაობა მოიცავს Walmart და Electronic Arts როგორც საქმის შესწავლა

Hive- ს დეტალური გაგება

ა. თივის შესავალი

გაცნობიერებული Hive, ტრადიციული მონაცემთა ბაზის შედარება Hive, Pig და Hive შედარებით, შენახვა მონაცემები Hive და Hive სქემა, Hive ურთიერთქმედების და სხვადასხვა გამოყენების შემთხვევაში Hive

გააზრება HiveQL, ძირითადი სინტაქსი, სხვადასხვა მაგიდები და მონაცემთა ბაზები, მონაცემთა ტიპები, მონაცემთა ნაკრები გაწევრიანება, სხვადასხვა ჩაშენებული ფუნქციები, განთავსება Hive queries on სკრიპტები, ჭურვი და ტონი.

C. მონაცემთა მართვის Hive

მონაცემთა ბაზების შექმნა, მონაცემთა ბაზების შექმნა, მონაცემთა ფორმატები Hive, მონაცემთა მოდელირება, Hive- მართვადი მაგიდები, თვითმმართველობის მართვადი მაგიდები, მონაცემთა გადატვირთვა, მონაცემთა ბაზებისა და ცხრილების შეცვლა, ნახვების გამარტივება ნახვები, შედეგების შენახვა, მონაცემთა წვდომის კონტროლი, მონაცემთა მართვა Hive, Hive Metastore და Thrift Server.

დ. ოპტიმიზაცია ჰაინგზე

კითხვის შესწავლა, მონაცემთა ინდექსირება, დანაწევრება და ფსკერი

E. გაგრძელების Hive

გამოიყენეთ მომხმარებლის განსაზღვრული ფუნქციები Hive- ის გასაგრძელებლად

F. ხელები სავარჯიშოები - მუშაობის დიდი მონაცემები კომპლექტი და ფართო querying

ჰეივის შეყვანა მონაცემთა ნაკრების უზარმაზარი ტომი და დიდი რაოდენობით დაკითხვა

გ. UDF, შეკითხვის ოპტიმიზაცია

მუშაობის ინტენსიურად მუშაობა მომხმარებელი განსაზღვრული შეკითხვებს, სწავლის როგორ ოპტიმიზაცია queries, სხვადასხვა მეთოდები, რათა შესრულების tuning.

Impala

ა. შესავალი ექსპალაში

რა არის Impala ?, როგორ Impala განსხვავდება Hive და Pig, როგორ Impala განსხვავდება Relational მონაცემთა ბაზები, შეზღუდვები და მომავალი მიმართულებები, გამოყენებით Impala Shell

B საუკეთესო არჩევის (Hive, Pig, Impala)

C. მოდელირება და მართვა მონაცემთა Impala და Hive

მონაცემთა შენახვის მიმოხილვა, მონაცემთა ბაზებისა და ცხრილების შექმნა, იტვირთება მონაცემთა ცხრილები, HCatalog, Impala Metadata Caching

D. მონაცემთა გაყოფა

Partitioning მიმოხილვა, Partitioning in Impala და Hive

(AVRO) მონაცემთა ფორმატები

შერჩევა ფაილი ფორმატი, ინსტრუმენტი მხარდაჭერა ფაილი ფორმატები, Avro სქემა, გამოყენება Avro ერთად Hive და Sqoop, Avro Schema Evolution, შეკუმშვის

შესავალი Hbase არქიტექტურა

რა არის Hbase, სად შეესაბამება, რა არის NOSQL

Apache Spark

ა რატომ ვგულისხმობ? მუშაობა Spark და Hadoop განაწილებული ფაილური სისტემა

რა არის სპარკი, შედარება Spark და Hadoop, კომპონენტები Spark

B. Spark კომპონენტები, საერთო Spark ალგორითმები- Iterative ალგორითმები, გრაფიკული ანალიზი, Machine Learning

Apache Spark- შესავალი, თანხვედრა, ხელმისაწვდომობა, დანაყოფი, ერთიანი Stack Spark, Spark კომპონენტები, Scalding მაგალითად, mahout, ქარიშხალი, გრაფაში

C. Running Spark on კასეტური, წერის Spark პროგრამები გამოყენებით Python, ჯავა, Scala

პითონის მაგალითის ახსნა, დრაივის ინსტალაციის ჩვენება, დრაივერის ინსტალაციის მაგალითი, მაგალითის გააზრება, მაგალითად, სუსტი შეფუთული ცვლადის განსაზღვრა, სკალისა და ჯავის სინატის კომბინირება, თანმიმდევრულობა და განაწილება. ახსენით, რა არის თვისება, ახსენით უმაღლესი რიგის ფუნქცია მაგალითად, განსაზღვრეთ OFI scheduler, Spark უპირატესობები, მაგალითი Lamda გამოყენებით ნაპერწკალი, ახსენით Mapreduce მაგალითად

Hadoop Cluster Setup და Running Map შემცირება ვაკანსიები

Multi კვანძის კასეტური Setup გამოყენებით Amazon eX - XXX კვანძის კასეტური კონფიგურაცია, Running რუკა შემცირება ვაკანსიები კასეტური

ძირითადი პროექტი - აყენებს ყველა ერთად და დამაკავშირებელი წერტილები

აყენებს ყველა ერთად და დაკავშირების წერტილები, მუშაობა დიდი მონაცემთა კომპლექტი, ნაბიჯი ჩართული ანალიზის დიდი მონაცემები

ETL დაკავშირებადობა Hadoop Ecosystem- თან ერთად

როგორ ETL ინსტრუმენტები მუშაობს დიდი მონაცემთა მრეწველობის, დაკავშირება HDFS საწყისი ETL ინსტრუმენტი და მოძრავი მონაცემების ლოკალური სისტემის HDFS, მოძრავი მონაცემების DBMS to HDFS, მუშაობა Hive ერთად ETL Tool, შექმნა რუკა შემცირება სამუშაოს ETL ინსტრუმენტი, ბოლომდე ბოლომდე ETL PoC გვიჩვენებს დიდი მონაცემთა ინტეგრაციას ETL ინსტრუმენტთან.

კასეტური კონფიგურაცია

კონფიგურაციის მიმოხილვა და მნიშვნელოვანი კონფიგურაციის ფაილი, კონფიგურაციის პარამეტრები და მნიშვნელობა, HDFS პარამეტრების MapReduce პარამეტრების, Hadoop გარემოს კონფიგურაცია, 'ჩართვა' და 'გამორიცხავს' კონფიგურაციის ფაილი, ლაბორატორია: MapReduce შესრულებით Tuning

ადმინისტრაცია და მოვლა

Namenode / Datanode- ის მონაცემთა სტრუქტურები და ფაილები, ფაილის სისტემის სურათი და რედაქტირება შესვლა, Checkpoint Procedure, Namenode მარცხი და აღდგენის პროცედურა, უსაფრთხო რეჟიმი, მეტამონაცემები და მონაცემთა სარეზერვო, პოტენციური პრობლემები და გადაწყვეტილებები / რა უნდა ვეძებოთ, დამატება და მოხსნა კვანძების, MapReduce ფაილის სისტემის აღდგენა

მონიტორინგი და პრობლემების მოგვარება

კასეტური მონიტორინგის საუკეთესო მეთოდები, მონიტორინგისა და პრობლემების გადასაჭრელად გამოყენების ლოკალიზაციის და საცავის გამოყენება, კასეტების მონიტორინგის ღია წყაროების გამოყენება

სამსახური scheduler: რუკა შეამციროს სამუშაოს წარდგენის ნაკადი

როგორ ვაგროვებთ ვაკანსიებს იმავე კასეტური, FIFO განრიგი, სამართლიანი Scheduler და მისი კონფიგურაცია

Multi კვანძის კასეტური Setup და გაშვებული რუკა შემცირება ვაკანსიები Amazon Ecology

Multi კვანძის კასეტური Setup გამოყენებით Amazon eX - XXX კვანძის კასეტური კონფიგურაცია, Running რუკა შემცირება ვაკანსიები კასეტური

ZOOKEEPER

ZOOKEEPER შესავალი, ZOOKEEPER გამოყენების შემთხვევები, ZOOKEEPER სერვისი მოდელი, Znodes და მისი ტიპები, Znodes ოპერაციები, Znodes საათები, Znodes ნათქვამია და წერს, თანმიმდევრულობა გარანტიები, კასეტური მართვა, ლიდერი საარჩევნო, განაწილებული ექსკლუზიური საკეტი, მნიშვნელოვანი რაოდენობა

წინასწარ Oozie

მაგალითად, Oozie- ის ინსტალაცია Oozie- ის სამუშაო, მაგალითად M / R ქმედება, Word count მაგალითი, Workflow application, სამუშაოს წარდგენა, სამუშაოს სახელმწიფო ტრანსფერები, Oozie სამუშაოების დამუშავება, Oozie უსაფრთხოება, Oozie Security ?, Job submission , კორპორაცია, კორპუსი, არქიტექტურა, გამოიყენეთ საქმე 1: დრო იწვევს, გამოიყენე საქმე 2: მონაცემები და დრო იწვევს, გამოიყენეთ საქმე 3: მოძრავი ფანჯარა

წინასწარი ფლუი

მონაცემთა გადაცემის სტრუქტურის შეცვლა, მონაცემთა გადაცემის სტრუქტურის შეცვლა, მონაცემთა გადაცემის სტრუქტურის შეცვლა, მონაცემთა გადაღება, აკუმულატორის პროცესორი, აგენტის მილსადენი, დატვირთვის ანატომია, Core Concepts, Event, Clients, Agents, Source, Channels, Sinks, Interceptors, Channel selector, , ტრანსაქციური მონაცემთა გაცვლის, მარშრუტიზაციისა და ტირაჟირება, რატომ არხები ?, გამოიყენეთ შემთხვევა-შესვლა აგრეგაცია, საწვავის აგენტის დამატება, სერვერის ფერმა, მონაცემთა აგენტის თითო აგენტი, მაგალითად,

წინასწარი HUE

HUE შესავალი, HUE ეკოსისტემა, რა არის HUE ?, ძალიან რეალური მსოფლიო ხედი, HUE- ის უპირატესობები, როგორ ატვირთოთ ფაილები ბროუზერი ?, ნახეთ შინაარსი, აერთიანებს მომხმარებლებს, ინტეგრირება HDFS,

წინასწარ Impala

Impala: მიზანი, Impala- ის მომხმარებლის ხედი: მიმოხილვა, Impala- ის მომხმარებლის ხედი: Impala: Apache HBase, Impala არქიტექტურა, Impala სახელმწიფო მაღაზია, Impala კატალოგი, Query აღსრულების ფაზები, შედარება Impala to Hive

Hadoop განაცხადის ტესტირება

ტესტირება მნიშვნელოვანია, ერთეულის ტესტირება, ინტეგრაციის ტესტირება, შესრულების ტესტირება, დიაგნოსტიკა, ღამის QA ტესტი, ბენჩმარკი და დასასრულს დასრულდება ტესტები, ფუნქციური ტესტირება, გამოშვების სერტიფიცირების ტესტირება, უსაფრთხოების ტესტირება, Scalability ტესტირება, ექსპლუატაციაში და Decommissioning მონაცემთა კვანძების ტესტირება, საიმედოობის ტესტირება გათავისუფლების ტესტირება

Hadoop ტესტირების პროფესიონალთა როლი და პასუხისმგებლობა

საცდელი შეფასების მომზადება, სატესტო კვანძი, სატესტო მონაცემები, ტესტის საწინააღმდეგო შექმნა, ტესტის შესრულება, დეფექტურობის გაშუქება, დეფექტი Retest, ყოველდღიური სტატუსის ანგარიშის მიწოდება, ტესტირების დასრულება, ETL ტესტირება ყველა ეტაპზე (HDFS, HIVE, HBASE) მონაცემების გადამოწმების, შერიგების, მომხმარებლის ავტორიზაციისა და ავთენტიფიკაციის ტესტირება (ჯგუფები, მომხმარებელი, პრივილეგიები და სხვ.), ანგარიშის ხარვეზები დეველოპერული გუნდის ან მენეჯერისა და მამოძრავებელი საშუალებების გამოყენებით შეყვანისას (logs / files / records etc) მათ დახურვის, კონსოლიდაცია ყველა დეფექტების და შექმნას დეფექტის ანგარიშები, Validating ახალი ფუნქცია და საკითხები Core Hadoop.

ჩარჩო მოუწოდა MR ერთეულს რუკების შემცირების პროგრამების შესამოწმებლად

შეატყობინე დეფექტები დეველოპერულ გუნდსა და მენეჯერს და გააკონტროლებენ მათ დახურვას, ყველა დეფექტების კონსოლიდაციას და დეფექტის ანგარიშების შექმნას, პასუხისმგებელია ტესტირების ჩარჩო დოკუმენტის შექმნისთვის, რომელსაც ეწოდება MR- ის ერთეულის რუკა-შემცირების პროგრამების ტესტირება.

ერთეულის ტესტირება

ავტომატური ტესტირება OZZIE- ის გამოყენებით, მონაცემთა გაყალბება შეკითხვის დენის საშუალებით.

ტესტის შესრულება

ტესტირების გეგმა HDFS განახლება, ტესტი ავტომატიზაცია და შედეგი

ტესტი გეგმა სტრატეგია და წერა ტესტი შემთხვევები ტესტირება Hadoop განაცხადის

როგორ შეამოწმოთ ინსტალაცია და კონფიგურაცია

სამსახური და სერტიფიცირების მხარდაჭერა

Cloudera სერტიფიკაციის რჩევები და სახელმძღვანელო და იმიტირებულ ინტერვიუ მომზადება, პრაქტიკული განვითარების რჩევები და ტექნიკა

გთხოვთ მოგვწეროთ info@itstechschool.com და დაგვიკავშირდით + 91-9870480053 კურსის ფასი და სერტიფიცირების ღირებულება, გრაფიკი და ადგილმდებარეობა

დავწერე კითხვა

ეს სასწავლო კურსი განკუთვნილია იმისათვის, რომ გაასწოროთ ორივე Cloudera Spark და Hadoop შემქმნელი სერტიფიკაციის (CCA175) გამოცდა და Cloudera Certified ადმინისტრატორი Apache Hadoop (CCAH) გამოცდა. მთელი სასწავლო კურსის შინაარსი შეესაბამება ამ ორი სერტიფიცირების პროგრამებს და დაგეხმარებათ ამ სერტიფიცირების გამოცდების გასაგებად და მარტივად მიიღოთ საუკეთესო სამუშაო ადგილები MNC- ებში.

ამ ტრენინგის ფარგლებში თქვენ რეალურ დროში პროექტებსა და დავალებებს იმუშავებთ, რომლებსაც აქვთ რეალური გავლენა რეალური ინდუსტრიის სცენარით, რაც ხელს უწყობს თქვენს კარიერას სწრაფად გააქტიურებას.

ტრენინგის დასასრულს გაიმართება ტესტები, რომლებიც კარგად ასახავს შესაბამისი სერტიფიცირების გამოცდებში დასმულ შეკითხვებს და დაგეხმარებათ სერტიფიცირების გამოცდისთვის უკეთესი ნიშნები.

მისი კურსის დასრულების სერტიფიკატი გადაეცემა პროექტის მუშაობის დასრულებას (ექსპერტთა მიმოხილვაზე) და ვიზუალურად მინიმუმ 60% ქულის მინიჭებაზე. Intellipaat სერტიფიკაციის კარგად აღიარებული Top 80 + MNCs, როგორიცაა Ericsson, Cisco, Cognizant, Sony, Mu Sigma, Saint-Gobain, სტანდარტული Chartered, TCS, Genpact, Hexaware და ა.შ.

დამატებითი ინფორმაციისთვის გთხოვთ დაგვიკავშირდით.


მიმოხილვა