סוּגהכשרה בכיתה
להירשם

נתונים גדולים קורס הסמכה hadoop

נתונים גדולים Hadoop קורס הסמכה הדרכה

סקירה כללית

קהל & תנאים מוקדמים

מתווה קורס

לוח זמנים ועמלות

תעודה

נתונים גדולים סקירה Hadoop הסמכה

זהו מקיף Hadoop Big Data קורס הכשרה שתוכננו על ידי מומחים בתעשייה בהתחשב הנוכחי בתעשייה דרישות העבודה לספק עומק למידה על נתונים גדולים Hadoop מודולים. זהו בתעשייה מוכר הסמכה גדולה נתונים הסמכה קורס זה הוא שילוב של קורסי הכשרה ב Hadoop מפתח, Hadoop מנהל, בדיקות Hadoop, וניתוח. זֶה Cloudera אימון Hadoop יכין לך אישור גדול נתונים.

יעדים

  • יסודות בסיס של Hadoop 2.7 ו YARN ולכתוב יישומים באמצעות אותם
  • הגדרת פסאודו הצומת אשכול הצומת רב ​​על אמזון EC2
  • הורים HDFS, MapReduce, כוורת, חזיר, Oozie, Sqoop, Flume, Zookeeper, HBase
  • למד ספארק, ניצוץ RDD, Graphx, MLLib כתיבת Spark יישומים
  • יחידת Hadoop פעילויות ניהול כמו ניהול אשכול, ניטור, ניהול ופתרון בעיות
  • הגדרת כלי ETL כמו Pentaho / Talend לעבוד עם MapReduce, כוורת, חזיר, וכו '
  • הבנה מפורטת של ניתוח נתונים גדולים
  • Hadoop בדיקות יישומים באמצעות יחידת MR וכלים אוטומציה אחרים.
  • עבודה עם פורמטים של נתוני Avro
  • לתרגל פרויקטים בחיים האמיתיים באמצעות Hadoop ו Apache Spark
  • להיות מצויד כדי לנקות נתונים BigUp הסמכה.

קהל יעד

  • מפתחי תכנות ומנהלי מערכת
  • אנשי מקצוע מנוסים, מנהלי פרויקטים
  • Big DataHadoop מפתחים להוטים ללמוד אנכיים אחרים כמו בדיקות, Analytics, ניהול
  • מומחי מיינפריים, אדריכלים ואנשי מקצוע בתחום הבדיקות
  • בינה עסקית, אחסון נתונים ואנשי מקצוע ב- Analytics
  • בוגרי, סטודנטים לתואר ראשון להוטים ללמוד את הטכנולוגיה העדכנית ביותר נתונים יכולים לקחת את זה Big Data Hadoop הסמכה מקוונת הדרכה

תנאים מוקדמים

  • אין צורך מראש לקחת את הנתונים הגדולים אימון ולשלוט Hadoop. אבל יסודות של UNIX, SQL ו- Java יהיה טוב.ב Intellipaat, אנו מספקים חינם יוניקס קורס Java עם ההסמכה שלנו ביג נתונים נתונים כדי לצחצח את המיומנויות הנדרשות, כך שאתה טוב על הנתיב הלמידה Hadoop.

Course Outline Duration: 2 Days

מבוא נתונים גדולים & Hadoop ו Ecosystem שלה, מפת לצמצם ו HDFS

מה זה נתונים גדולים, איפה Hadoop מתאים, Hadoop מערכת קבצים מבוזרים - Replications, גודל בלוק, Namenode משני, זמינות גבוהה, הבנת YARN - ResourceManager, NodeManager, ההבדל בין 1.x ו 2.x

הדופ התקנה והתקנה

Hadoop 2.x אשכול אדריכלות, הפדרציה וזמינות גבוהה, אופייני ייצור אשכול ההתקנה, Hadoop מצבים מצבים, פקודות Sheld נפוצות Shell, Hadoop 2.x תצורה קבצים, Cloudera צומת יחיד הצומת

עמוק לצלול ב Mapreduce

כיצד עובד Mapreduce, איך עובד Reducer, איך עובד מנהל, Combiners, Partitioners, פורמטים קלט, פורמטים פלט, Shuffle ו מיין, Mapside מצטרף, צמצום צד מצטרף, MRUnit, מטמון מבוזרת

תרגילי מעבדה:

עבודה עם HDFS, כתיבת WordCount התוכנית, כתיבת מחיצות מותאמות אישית, Mapreduce עם Combiner, מפה צד הצטרף, צמצום צד מצטרף, בודק יחידה Mapreduce, ריצה Mapreduce במצב LocalJobRunner

גרף פתרון בעיות

מה הוא גרף, ייצוג גרף, רוחב הראשון אלגוריתם חיפוש, ייצוג גרף של המפה לצמצם, כיצד לעשות אלגוריתם גרף, דוגמה של מפה גרף להפחית,

    תרגיל 1: תרגיל 2: תרגיל 3:

הבנה מפורטת של חזיר

מבוא לחזיר

הבנת אפאצ'י חזיר, תכונות, שימושים שונים ולמידה אינטראקציה עם חזיר

ב פריסת חזיר לניתוח נתונים

תחביר של חזיר לטינית, הגדרות שונות, מיון נתונים ומסנן, סוגי נתונים, פריסת חזיר עבור ETL, טעינת נתונים, צפייה סכימה, הגדרות שדה, פונקציות נפוץ.

ג חזיר לעיבוד נתונים מורכבים

סוגי נתונים שונים כולל מקוננים ומורכבים, עיבוד נתונים עם חזיר, מקובצים נתונים איטרציה, תרגיל מעשי

D. Performing multi-dataset operations

נתונים להגדיר להצטרף, נתונים להגדיר פיצול, שיטות שונות עבור נתונים להגדיר שילוב, להגדיר פעולות, על הידיים על התרגיל

ה. הרחבת החזיר

הבנת פונקציות המוגדרות על ידי המשתמש, ביצוע עיבוד נתונים עם שפות אחרות, יבוא ופקודות מאקרו, תוך שימוש ב- streaming ו- UDF כדי להרחיב את החזירים, תרגילים מעשיים

פ משרות חזיר

עבודה עם קבוצות נתונים אמיתיות של Walmart ו- Electronic Arts כמקרה מבחן

הבנה מפורטת של כוורת

מבוא כוורת

הבנת כוורת, השוואה למסורתי מסורתי עם כוורת, חזיר כוורת השוואה, אחסון נתונים כוורת כוורת סכימה, אינטראקציה כוורת במקרים שונים של כוורת

כוורת עבור ניתוח נתונים יחסיים

הבנת HiveQL, תחביר בסיסי, טבלאות ומסדי נתונים שונים, סוגי נתונים, הגדרת נתוני הצטרפות, פונקציות מובנות שונות, פריסת שאילתות כוורות ב- scripts, shell ו- hue.

ג ניהול נתונים עם כוורת

מסדי נתונים שונים, יצירת מסדי נתונים, פורמטים של נתונים בכוורת, מודלים של נתונים, טבלאות מנוהלות, טבלאות ניהול עצמי, טעינת נתונים, שינוי מסדי נתונים וטבלאות, פישוט שאילתות עם תצוגות, אחסון תוצאות של שאילתות, בקרת גישה לנתונים, ניהול נתונים עם כוורת, כוורת metastore ו חסכון שרת.

ד אופטימיזציה של כוורת

לימוד ביצועים של שאילתות, אינדוקס נתונים, מחיצות ודלידה

ה. הרחבת כוורת

פריסת פונקציות מוגדרות משתמש להרחבת כוורת

F. ידיים על תרגילים - עבודה עם קבוצות נתונים גדולות ושאלות מקיפות

פריסת כוורת עבור כמויות עצומות של ערכות נתונים כמויות גדולות של שאילתות

G. UDF, אופטימיזציה של שאילתות

עבודה נרחב עם שאילתות שהוגדרו על ידי המשתמש, ללמוד כיצד לייעל שאילתות, שיטות שונות לעשות כוונון ביצועים.

אימפלה

מבוא ל- Impala

מה זה Impala ?, איך דיפלה אימפלה מ כוורת חזיר, איך מפלי אימפלה ממסדי נתונים יחסיים, מגבלות וכיוונים עתידיים, באמצעות מעטפת אימפלה

ב בחירת הטוב ביותר (כוורת, חזיר, אימפלה)

ג. מודלים וניהול נתונים עם אימפלה וכוורת

סקירה של אחסון נתונים, יצירת מסדי נתונים וטבלאות, טעינת נתונים לטבלאות, HCatalog, מטמון מטמון אימפלה

חלוקת נתונים

מחיצות סקירה, חלוקת אימפלה כוורת

(AVRO) פורמטים של נתונים

בחירת פורמט קובץ, כלי תמיכה עבור פורמטים של קבצים, סכימות Avro, שימוש Avro עם כוורת ו Sqoop, Avro Schema אבולוציה, דחיסה

מבוא לאדריכלות Hbase

מה זה Hbase, איפה זה מתאים, מה זה NOSQL

אפאצ 'י ספארק

למה Spark? עבודה עם Spark ו Hadoop מערכת קבצים מבוזרת

מהו Spark, השוואה בין Spark ו Hadoop, רכיבי Spark

B. Spark רכיבים, אלגוריתם משותף ספארק-אלגוריתמים Iterative, ניתוח גרף, מכונת הלמידה

אפאצ 'י Spark- מבוא, עקביות, זמינות, מחיצה, מאוחדת מחסנית ניצוץ, ניצוץ רכיבים, דוגמת דוגמת, mahout, סערה, גרף

ג הפעלת ניצוץ על אשכול, כתיבת Spark יישומים באמצעות Python, Java, Scala

הסבר את דוגמה python, הצג התקנת ניצוץ, הסבר את תוכנית הנהג, הסבר בהקשר של ניצוץ עם דוגמא, הגדר משתנה חלש, שלב scala ו- java בצורה חלקה, הסבר מקביל והפצה, הסבר מה היא תכונה, הסבר פונקציה בסדר גבוה יותר עם דוגמה, הגדר את OFI מתזמן, יתרונות של ניצוץ, דוגמה של למדה באמצעות ניצוץ, להסביר Mapreduce עם דוגמה

Hadop הגדרת אשכול ומפת הפעלה מפתחים משרות

Multi הצומת אשכול ההתקנה באמצעות אמזון ecxNUMX - יצירת 2 הצומת אשכול ההתקנה, הפעלת מפה לצמצם משרות על אשכול

פרויקט מרכזי - לשים את כל זה יחד חיבור נקודות

לשים את הכל ביחד חיבור נקודות, עבודה עם נתונים גדולים קובע, צעדים המעורבים בניתוח נתונים גדולים

קישוריות ETL עם Hadoop Ecosystem

איך כלי ETL לעבוד בתעשייה נתונים גדולים, חיבור HDFS מ ETL כלי והעברת נתונים ממערכת מקומית HDFS, העברת נתונים מ DBMS ל HDFS, עבודה עם כוורת עם כלי ETL, יצירת מפת להפחית את העבודה בכלי ETL, End to End ETL PoC מראה שילוב נתונים גדול עם כלי ETL.

תצורת אשכול

סקירה כללית של תצורה וקובץ תצורה חשוב, פרמטרים והגדרות תצורה, פרמטרים של HDFS פרמטרים של MapDeduce, הגדרת הסביבה של Hadoop, 'כלול' ו 'אל תכלול' קבצי תצורה, Lab: MapReduce כוונון ביצועים

מינהל ואחזקה

Namenode / Datanode ספריות מבנים וקבצים, קובץ מערכת התמונה ועריכה יומן, הליך Checkpoint, כישלון Namenode הליך השחזור, מצב בטוח, מטה נתונים גיבוי נתונים, בעיות פוטנציאליות ופתרונות / מה לחפש, הוספת והסרה של צמתים, Lab: שחזור קבצים

ניטור ופתרון בעיות

שיטות עבודה מומלצות לניטור אשכול, שימוש ביומנים ועקבות מחסניות לניטור ופתרון בעיות, שימוש בכלים בקוד פתוח כדי לפקח על אשכול

מתזמן משימות: מפה לצמצם את זרימת הגשת העבודה

כיצד לתזמן ג 'ובס על אשכול זהה, FIFO לוח זמנים, הוגן מתזמן ואת התצורה שלו

מרובה הצומת אשכול ההתקנה ואת הפעלת מפה צמצום משרות על אמזון

Multi הצומת אשכול ההתקנה באמצעות אמזון ecxNUMX - יצירת 2 הצומת אשכול ההתקנה, הפעלת מפה לצמצם משרות על אשכול

זוקיפר

ZookEEPER מבוא, ZookEEPER להשתמש במקרים, ZOOKEEPER שירותים, ZOOKEEPER נתונים דגם, Znodes וסוגיו, פעולות Znodes, Znodes שעונים, Znodes קורא וכותב, ערבויות עקביות, ניהול אשכול, מנהיג הבחירות, מבוזרת בלעדי נעל, נקודות חשובות

מתקדם Oozie

למה Oozie ?, התקנת Oozie, הפעלת דוגמא, Oozie- זרימת עבודה מנוע, דוגמה M / R פעולה, Word ספירת למשל, זרימת עבודה יישום, זרימת עבודה הגשת, זרימת עבודה המדינה מעברים, Oozie עבודה עיבוד, Oozie אבטחה, למה Oozie אבטחה ?, הגשת עבודה , רב שכירות ומדרגיות, קו זמן של עבודה Oozie, מתאם, Bundle, שכבות של הפשטה, ארכיטקטורה, השתמש מקרה 1: זמן מעורר, השתמש מקרה 2: נתונים ומפעיל הזמן, השתמש מקרה 3: חלון מתגלגל

מראש Flume

סקירה כללית של Apache Flume, מופץ פיזית מקורות נתונים, שינוי מבנה הנתונים, מבט קרוב יותר, אנטומיה של Flume, מושגי Core, אירועים, לקוחות, סוכנים, מקור, ערוצים, כיורים, מיירטים, בורר ערוצים, מעבד כיור, בליעת נתונים, צינור סוכן , חילופי נתונים טרנזקציונליים, ניתוב ושכפול, מדוע ערוצים ?, השתמש במקרה - צבירה יומן, הוספת סוכן Flume, טיפול בחוות שרתים, נפח נתונים לסוכן, דוגמה המתארת ​​פריסת צומת בודדת של צומת

מראש HUE

HUE מבוא, HUE ecosystem, מהו HUE ?, HUE תצוגה אמיתית בעולם, היתרונות של HUE, כיצד להעלות נתונים בדפדפן קבצים ?, הצג את התוכן, שילוב משתמשים, שילוב HDFS, יסודות של HUE FRONTEND

מתקדם אימפלה

IMPALA סקירה כללית: מטרות, תצוגת משתמש של אימפלה: סקירה כללית, תצוגת משתמש של אימפאלה: SQL, תצוגת משתמש של אימפאלה: Apache HBase, ארכיטקטורת אימפלה, חנות המדינה אימפלה, קטלוג קטלוג אימפלה, שלבי ביצוע שאילתה, השוואת אימפלה לכוורת

בדיקות יישום Hadoop

למה בדיקות חשוב, בדיקות יחידה, בדיקות אינטגרציה, בדיקות ביצועים, אבחון, בדיקות QA לילה, מבחני ביצועים ולבסוף בדיקות קצה, בדיקות פונקציונליות, בדיקות הסמכה שחרור, בדיקות אבטחה, בדיקות מדרגיות, הזמנת ו פירוק של צמתים נתונים בדיקה, בדיקות אמינות , בדיקות שחרור

תפקידים ואחריות של Hadoop בדיקה מקצועי

הבנת הדרישה, הכנת הערכת המבדק, בדיקת מקרים, מבחן מבחן המיטה, מבחן ביצוע, דיווח על פגם, פגום retest, יומי מצב הדו"ח מסירה, השלמת הבדיקה, בדיקות ETL בכל שלב (HDFS, HIVE, HBASE) בעוד טוען את הקלט (יומנים / קבצים / רשומות וכו ') באמצעות sqop / flume אשר כולל אך לא מוגבל אימות נתונים, פיוס, הרשאות משתמש ו אימות אימות (קבוצות, משתמשים, הרשאות וכו'), פגמים דווח על צוות הפיתוח או מנהל ונהיגה לסגור אותם, לאחד את כל הפגמים וליצור דוחות פגם, אימות תכונה חדשה ונושאים Core Hadoop.

מסגרת הנקראת MR יחידה לבדיקת תוכניות להורדת מפה

דווח על פגמים בצוות הפיתוח או במנהל והסיע אותם לסגירה, לאחד את כל הפגמים וליצור דוחות פגם, אחראי ליצירת מסגרת בדיקה הנקראת MR יחידה לבדיקת תוכניות להורדת מפה.

בדיקות יחידה

בדיקות אוטומציה באמצעות OOZIE, אימות נתונים באמצעות כלי נחשול השאילתה.

מבחן ביצוע

תוכנית בדיקה עבור שדרוג HDFS, אוטומציה מבחן התוצאה

מבחן תוכנית אסטרטגיה וכתיבת מבחן מקרים לבדיקת Hadoop יישום

כיצד לבדוק ולהגדיר את התצורה

עבודה ותמיכה הסמכה

Cloudera הסמכה טיפים והדרכה והכנה ראיון הכנה, פיתוח מעשי טיפים וטכניקות

אנא כתוב לנו בכתובת info@itstechschool.com צור קשר בכתובת + 91-9870480053 עבור מחיר הקורס & עלות הסמכה, לוח זמנים ומיקום

זרוק לנו שאילתה

קורס זה מיועד לעזור לך לנקות את שניהם Cloudera Spark ו- Hadoop Developer Certification (CCA175) הבחינה ו Cloudera מנהל מוסמך עבור Apache Hadoop (CCAH) בְּחִינָה. כל הקורס תוכן הקורס עולה בקנה אחד עם אלה שתי תוכניות הסמכה ומסייע לך לנקות בחינות הסמכה אלה בקלות ולקבל את העבודות הטובות ביותר MNCs העליון.

במסגרת האימון הזה תוכלו לעבוד על פרויקטים בזמן אמת משימות כי יש השלכות עצומות בתרחיש בתעשייה בעולם האמיתי ובכך לעזור לך לעקוב אחר הקריירה שלך ללא מאמץ.

בסוף תוכנית זו הכשרה יהיו חידונים משקפים בצורה מושלמת את סוג השאלות שנשאלו בחינות הסמכה בהתאמה ומסייע לך ציון סימני טוב יותר בחינת הסמכה.

תעודת סיום הקורס יוענקו על השלמת עבודת הפרוייקט (על סקירת מומחים) ועל ניקוד של לפחות 60% סימני בחידון. הסמכה Intellipaat מוכר היטב 80 + MNCs כמו אריקסון, סיסקו, Cognizant, סוני, מו סיגמא, סנט גובין, Standard Chartered, TCS, Genpact, Hexaware, וכו '

לקבלת מידע נוסף בחביבות תיצור איתנו קשר.


מלקוחות