نوعآموزش کلاس درس
ثبت نام

داده های بزرگ hadoop دوره گواهینامه

دوره های آموزش عالی و Hadoop گواهینامه

بررسی اجمالی

مخاطبان و پیش نیازها

طرح درس

برنامه و هزینه ها

گواهی

بازبینی دوره بزرگ گواهینامه Hadoop

این یک دوره جامع Hadoop Big Data است که توسط کارشناسان صنعت طراحی شده و با توجه به نیازهای شغلی صنعت به ارائه یادگیری عمیق در داده های بزرگ و ماژول های Hadoop می پردازد. این یک دوره آموزش صدور گواهینامه Big Data است که ترکیبی از دوره های آموزشی در Hadoop توسعه دهنده، مدیر Hadoop، آزمایش Hadoop و تجزیه و تحلیل است. این Cloudera آموزش هادوپ شما را برای تصدیق داده های بزرگ آماده خواهد کرد.

اهداف

  • اصول کارشناسی ارشد Hadoop 2.7 و YARN و نوشتن برنامه ها با استفاده از آنها
  • تنظیم گره شبه گره و چند گره در EC2 آمازون
  • Master HDFS، MapReduce، Hive، Pig، Oozie، Sqoop، Flume، Zookeeper، HBase
  • یادگیری جرقه، Spark RDD، Graphx، MLlib نوشتن برنامه های جرقه
  • فعالیت های مدیریت استاد Hadoop مانند مدیریت خوشه، نظارت، مدیریت و عیب یابی
  • پیکربندی ابزار ETL مانند Pentaho / Talend برای کار با MapReduce، Hive، Pig و غیره
  • درک مفصل از تجزیه و تحلیل داده های بزرگ
  • Hadoop برنامه های کاربردی با استفاده از MR واحد و دیگر ابزار اتوماسیون.
  • با فرمت های داده Avro کار کنید
  • تمرین پروژه های زندگی واقعی با استفاده از Hadoop و Apache Spark
  • مجهز به Clear Data Hadoop Certification باشید.

حضار در نظر گرفته

  • توسعه دهندگان برنامه نویسی و مدیران سیستم
  • متخصصان حرفه ای با تجربه، مدیران پروژه
  • توسعه دهندگان Big DataHadoop علاقه مند به یادگیری دیگر verticals مانند تست، تجزیه و تحلیل، مدیریت
  • متخصصین ماهواره، معماران و آزمایشکنندگان
  • اطلاعات کسب و کار، انبار داده و تحلیلگران حرفه ای
  • فارغ التحصیلان، دانشجویان علاقه مند به یادگیری آخرین فناوری های بزرگ داده می توانند این آموزش آنلاین را با این آموزش بزرگ Data Hadoop گواهی کنند

پیش نیازها

  • هیچ پیش شرطی برای این آموزش داده های بزرگ و استاد Hadoop وجود ندارد. اما اصول یونیکس، SQL و جاوا خوب خواهد بود. در Intellipaat، ما دوره آموزش یونیکس و جاوا را با آموزش صدور گواهینامه Big Data خود به شما آموزش می دهیم تا مهارت های مورد نیاز را برآورده سازید تا بتوانید مسیر یادگیری Hadoop را در اختیار داشته باشید.

Course Outline Duration: 2 Days

معرفی به داده های بزرگ و Hadoop و اکوسیستم آن، کاهش نقشه و HDFS

داده های بزرگ، Hadoop در کجا قرار می گیرد، Hadoop سیستم فایل توزیع شده - تکرار، اندازه بلوک، نام دامنه ثانویه، دسترسی بالا، درک YARN - ResourceManager، NodeManager، تفاوت بین 1.x و 2.x

نصب و راه اندازی Hadoop

Hadoop 2.x معماری خوشه ای، فدراسیون و در دسترس بودن بالا، یک راه اندازی خوشه نمونه تولیدی، حالت های خوشه Hadoop، دستورات Hadoop Shell مشترک، فایل های پیکربندی Hadoop 2.x، Cloudera خوشه گره تک

فرو رفتن عمیق در Mapreduce

چگونه Mapreduce کار می کند، چگونه Reducer کار می کند، چگونه Driver در حال کار، Combiners، Partitioners، فرمت های ورودی، فرمت های خروجی، Shuffle و مرتب سازی، پیوند Mapside، کاهش اتصال، MRUnit، توزیع کش

تمرینات آزمایشگاهی:

کار با HDFS، نوشتن برنامه WordCount، نوشتن پارتیشن بندی سفارشی، Mapreduce با ترکیبی، نقشه کنار طرف شدن، کاهش اتصال، تست واحد Mapreduce، انجام Mapreduce در حالت LocalJobRunner

حل مسئله گراف

Graph، Graph Representation، First Bread Algorithm Search، Graph Representation of Map Reduction، نحوه انجام الگوریتم گراف، مثال نقشه گراف، کاهش،

    ورزش 1: ورزش 2: ورزش 3:

درک مفصلی از خوک

A. معرفی به خوک

درک آپاچی خوک، ویژگی ها، استفاده های مختلف و یادگیری برای ارتباط با خوک

B. استفاده از خوک برای تجزیه و تحلیل داده ها

نحو خوک لاتین، تعاریف مختلف، مرتب سازی و فیلتر داده ها، انواع داده ها، استفاده از Pig for ETL، بارگیری داده ها، مشاهده طرح، تعریف زمینه، توابع معمول استفاده می شود.

C. خوک برای پردازش اطلاعات پیچیده

انواع داده های مختلف از جمله توزیع شده و پیچیده، داده پردازش با خوک، تکرار داده های گروهی، تمرین عملی

D. Performing multi-dataset operations

پیوستن داده ها، تقسیم داده ها، روش های مختلف برای ترکیب داده ها، عملیات مجموعه ای، تمرین دستی

E. گسترش خوک

درک توابع تعریف شده توسط کاربر، پردازش داده ها با زبان های دیگر، واردات و ماکروها، با استفاده از جریان و UDF ها برای گسترش خوک، تمرین های عملی

F. خوک شغل

کار با مجموعه داده های واقعی شامل Walmart و Electronic Arts به عنوان مورد مطالعه

درک مفصل از کندو

A. مقدمه شیری

درک خوشه، مقایسه پایگاه داده های سنتی با مقایسه علف های هرز، خوک و کندو، ذخیره داده ها در طرح حیوانی و کندو، تعامل زنبور عسل و موارد استفاده مختلف از کندو

B. کندو برای تجزیه و تحلیل داده های رابطه ای

درک HiveQL، نحو پایه، جداول و پایگاه داده های مختلف، انواع داده ها، پیوستن داده ها، توابع ساخته شده در انواع مختلف، استفاده از Query Query ها در اسکریپت ها، پوسته و رنگ.

C. مدیریت داده ها با کندو

پایگاه های داده های مختلف، ایجاد پایگاه داده ها، فرمت های داده ها در Hive، مدل سازی داده ها، جداول مدیریت جداگانه، جداول خود مدیریت، بارگیری داده ها، تغییر پایگاه داده ها و جداول، ساده سازی پرس و جو با Views، ذخیره سازی نمایش داده ها، کنترل دسترسی داده ها، مدیریت داده ها با Hive، Hive Metastore و Thrift Server.

D. بهینه سازی کندو

عملکرد یادگیری پرس و جو، نمایه سازی داده ها، پارتیشن بندی و bucketing

E. تکثیر کندو

توزیع توابع تعریف شده کاربر برای گسترش کندو

F. دست در تمرین - کار با مجموعه داده های بزرگ و پرس و جو گسترده است

اعزام کندو برای حجم زیادی از مجموعه داده ها و مقدار زیادی از پرس و جو

G. UDF، بهینه سازی پرس و جو

کار با استفاده از Query های تعریف شده کاربر، یادگیری نحوه بهینه سازی پرس و جو ها، روش های مختلف برای انجام تنظیم عملکرد.

ایمپالا

A. معرفی به Impala

Impala چگونه است، چگونه Impala متفاوت از کندو و خوک، چگونه Impala متفاوت از پایگاه داده های مرتبط، محدودیت ها و دستورالعمل های آینده، با استفاده از Shell Impala

B. انتخاب بهترین (کندو، خوک، Impala)

C. مدل سازی و مدیریت داده ها با Impala و Hive

بررسی اجمالی ذخیره سازی داده ها، ایجاد پایگاه داده ها و جداول، بارگیری داده ها در جداول، ذخیره سازی داده ها، Metadata Cache Impala

D. تقسیم بندی داده ها

بررسی اجمالی، تقسیم بندی در Impala و کندو

(AVRO) فرمت های داده

انتخاب یک فرمت فایل، پشتیبانی ابزار برای فرمت های فایل، برنامه های Avro، استفاده از Avro با Hive و Sqoop، Evolution Schema Avro، Compression

معرفی معماری HBase

Hbase چیست، کجا آن را مطابقت می دهد، NOSQL چیست

جرقه آپاچی

A. چرا جرقه؟ کار با سیستم فایل توزیع جرقه و Hadoop

جرقه، مقایسه بین جرقه و هودوپ، اجزای جرقه چیست؟

ب. قطعات جرقه، الگوریتم های جرقه مشترک، الگوریتم های تکراری، تحلیل گراف، یادگیری ماشین

Spark Apache - مقدمه، ثبات، در دسترس بودن، پارتیشن، جرقه پشته ی متحرک، قطعات جرقه، مثال پاشیدن، mahout، طوفان، گراف

C. اجرای جرقه در خوشه، نوشتن برنامه جرقه با استفاده از پایتون، جاوا، اسکالا

مثال مثال پایتون را توضیح دهید، نمایش یک جرقه را توضیح دهید، توضیح دادن برنامه راننده، توضیح دادن جرقه با مثال، تعریف متغیر ضعیف تایپ شده، ترکیبی از اسکالا و جاوا را یکپارچه، توضیح دهید همزمان و توزیع.، توضیح دهید چه ویژگی است، توضیح دهید تابع مرتبه بالاتر با مثال، تعریف CFI برنامه ریز، مزایای جرقه، مثال Lamda با استفاده از جرقه، توضیح Mapreduce با مثال

نصب و راه اندازی Hadoop خوشه و در حال اجرا نقشه کاهش مشاغل

راه اندازی چند بخش گره با استفاده از آمازون ec2 - ایجاد تنظیم خوشه گره 4، اجرای نقشه کاهش مشاغل در خوشه

پروژه بزرگ - همه اینها را با هم و اتصال نقاط

قرار دادن همه اینها و اتصال نقاط، کار با مجموعه داده های بزرگ، مراحل مربوط به تجزیه و تحلیل داده های بزرگ

اتصال ETL با اکوسیستم Hadoop

چگونه ابزار ETL در Data Data Industry کار می کنند، اتصال به HDFS از ابزار ETL و انتقال داده ها از سیستم محلی به HDFS، انتقال داده ها از DBMS به HDFS، کار با شیار با ETL ابزار، ایجاد نقشه کاهش کار در ابزار ETL، پایان دادن به پایان ETL PoC یکپارچه سازی داده های بزرگ با ابزار ETL را نشان می دهد.

پیکربندی خوشه

نمای کلی پیکربندی و فایل پیکربندی مهم، پارامترهای پیکربندی و ارزش ها، پارامترهای HDFS پارامترهای MapReduce، تنظیم محیط Hadoop، فایل های پیکربندی "شامل" و "Exclude"، Lab: تنظیم عملکرد Performance MapReduce

اداره و تعمیر و نگهداری

Namenode / Datanode ساختارهای دایرکتوری و فایل ها، تصویر سیستم فایل و ویرایش ورود، روش بازپرداخت، خطای Namenode و روش بازیابی، حالت ایمن، متادیتا و پشتیبان گیری داده ها، مشکلات احتمالی و راه حل ها / چه چیزی برای دنبال، اضافه کردن و حذف گره، آزمایشگاه: MapReduce بازیابی فایل سیستم

نظارت و عیب یابی

بهترین شیوه های نظارت بر خوشه، استفاده از سیاهههای مربوط و ردیابی پشته برای نظارت و عیب یابی، استفاده از ابزارهای منبع باز برای نظارت بر خوشه

Scheduler Job: نقشه کاهش جریان ارسال شغل

چگونگی برنامه ریزی شغل در همان خوشه، FIFO Schedule، Fair Scheduler و تنظیمات آن

راه اندازی چندین گره و اجرای نقشه کاهش مشاغل در آمازون Ec2

راه اندازی چند بخش گره با استفاده از آمازون ec2 - ایجاد تنظیم خوشه گره 4، اجرای نقشه کاهش مشاغل در خوشه

نگهبان باغ وحش

ZOOKEEPER مقدمه، موارد استفاده ZOOKEEPER، ZOOKEEPER خدمات، ZOOKEEPER داده مدل، Znodes و انواع آن، عملیات Znodes، Znodes ساعت، Znodes خواندن و نوشتن، گارانتی انسجام، مدیریت خوشه، انتخاب رهبر، قفل منحصر به فرد توزیع، نکات مهم

پیشرفت Oozie

چرا Oozie ؟، نصب Oozie، در حال اجرا یک مثال، موتور Oozie- گردش کار، مثال مثال M / R، مثال شمارش، برنامه Workflow، ارسال گردش کار، انتقال وضعیت کار گردش، پردازش شغل Oozie، امنیت Oozie، چرا امنیت Oozie، ارائه شغل 1: زمان راه اندازی، استفاده از Case 2: داده ها و ماژول های زمانی، استفاده از Case 3: پنجره نورد

فوم پیشرفته

بررسی اجمالی از Apache Flume، منابع داده فیزیکی توزیع شده، تغییر ساختار داده ها، نگاه نزدیک، Anatomy of Flume، مفاهیم هسته، رویداد، مشتریان، نمایندگان، منبع، کانال ها، غرق، رهگیرها، انتخاب کانال، پردازنده سینک، دسترسی به اطلاعات، خط لوله عامل ، مبادله داده های عملیاتی، مسیریابی و تکرار، چرا کانال؟، جمع آوری مورد مورد، اضافه کردن عامل flume، مدیریت مزرعه سرور، حجم داده ها در هر عامل، مثال توصیف یک استقرار گره یک گره

پیشرفته HUE

مقدمه HUE، اکوسیستم HUE، HUE؟، دنیای واقعی HUE، مزایای HUE، نحوه بارگذاری داده ها در مرورگر فایل، مشاهده محتوا، ادغام کاربران، ادغام HDFS، مبانی HUE FRONTEND

پیشرفته Impala

مرور اجمالی IMPALA: اهداف، دید کاربر از Impala: بررسی اجمالی، دید کاربر از Impala: SQL، نمایه کاربر Impala: Apache HBase، معماری Impala، فروشگاه Empala state، خدمات کاتالوگ Impala، مراحل اجرای پرس و جو، مقایسه Impala به Hive

تست برنامه Hadoop

چرا تست مهم است، تست واحد، تست یکپارچگی، تست عملکرد، تشخیص، تست QA تست شبانه، تست پایانی و پایان دادن به پایان، تست عملکرد، تست صدور آزادی، تست امنیتی، تست مقیاس پذیری، راه اندازی و غیر فعال کردن تست های تست داده، تست قابلیت اطمینان ، انتشار آزمایشی

نقش و مسئولیت های حرفه ای تست Hadoop

درک نیاز، آماده سازی ارزیابی تست، موارد آزمایش، داده های تست، ایجاد تست تست، اجرای تست، گزارش نقص، بازپرداخت نقص، تحویل گزارش وضعیت روزانه، اتمام تست، تست ETL در هر مرحله (HDFS، HIVE، HBASE) در حالی که بارگیری ورودی (logs / files / records و غیره) با استفاده از sqoop / flume که شامل محدودیتی به تایید داده ها، تطبیق، تایید کاربر و تست هویت (گروه ها، کاربران، امتیازات و غیره)، گزارش نقص ها به تیم توسعه یا مدیر و رانندگی آنها را برای بستن، تمام نقص ها را خاتمه دهید و گزارش های نقصان ایجاد کنید، اعتبار ویژگی های جدید و مسائل مربوط به Core Hadoop.

چارچوب MR Unit برای تست نقشه کاهش برنامه ها

گزارش نقص ها را به تیم توسعه و یا مدیر و رانندگی آنها را به بسته شدن، ادغام تمام نقص ها و ایجاد گزارش های نقص، مسئول ایجاد یک چارچوب آزمایش به نام MR واحد برای تست نقشه کاهش برنامه ها.

تست واحد

تست اتوماسیون با استفاده از OOZIE، اعتبار سنجی داده ها با استفاده از ابزار جستجو.

اعدام تست

طرح تست ارتقا HDFS، اتوماسیون تست و نتیجه

برنامه تست استراتژی و نوشتن موارد آزمون برای تست برنامه Hadoop

چگونه برای تست نصب و پیکربندی

پشتیبانی شغلی و صدور گواهینامه

راهنمایی های گواهینامه Cloudera و آمادگی مصاحبه، نکات و تکنیک های توسعه عملی

لطفا به ما بنویسید info@itstechschool.com & قیمت 91-9870480053 برای قیمت دوره و هزینه صدور گواهینامه، برنامه ریزی و مکان با ما تماس بگیرید

قطره ما یک پرس و جو

این دوره آموزشی طراحی شده است تا به شما کمک کند هر دو را پاک کنید Cloudera Spark و گواهی Hadoop Developer (CCA175) امتحان و Cloudera Certified Administrator برای Apache Hadoop (CCAH) امتحان محتوای کل دوره آموزشی مطابق با این دو برنامه صدور گواهینامه است و به شما کمک می کند تا این امتحانات صدور گواهینامه را به آسانی پاک کنید و بهترین مشاغل را در MNC های برتر دریافت کنید.

به عنوان بخشی از این آموزش، شما در پروژه های زمان واقعی و تکالیف کار خواهید کرد که پیامدهای فراوانی در سناریو صنعت دنیای واقعی دارند و به شما این امکان را می دهد که به آسانی بتوانید حرفه خود را پیگیری کنید.

در انتهای این برنامه آموزشی، آزمونها خواهند بود که به طور کامل نوع سوالاتی را که در امتحانات صدور گواهینامه مطرح شده است را منعکس می کند و به شما کمک می کند تا نمرات بهتر در امتحان گواهینامه را بدست آورید.

گواهینامه تکمیل دوره ITS در تکمیل کار پروژه (در مورد بررسی متخصص) و بر اساس نمره حداقل نمرات 60٪ در مسابقه اعطا خواهد شد. صدور گواهینامه Intellipaat در 80 + MNC هایی مانند Ericsson، Cisco، Cognizant، Sony، Mu Sigma، Saint-Gobain، Standard Chartered، TCS، Genpact، Hexaware و غیره به خوبی شناخته شده است.

برای اطلاعات بیشتر با مهربانی تماس با ما.


بررسی