タイプクラスルームトレーニング
レジスタ

ビッグデータハープス認証コース

ビッグデータHadoop認定コースとトレーニング

概要

オーディエンスと前提条件

コース概要

スケジュールと料金

認証

ビッグデータHadoop認定コースの概要

これは、大規模なデータとHadoopモジュールの詳細な学習を提供するために業界の現在の職務要件を考慮して、業界の専門家が設計した包括的なHadoop Big Dataトレーニングコースです。 これは、業界で認知されているBig Data認定トレーニングコースで、Hadoop開発者、Hadoop管理者、Hadoopテスト、およびアナリティクスのトレーニングコースを組み合わせたものです。 この Clouderaの Hadoopのトレーニングでは、大規模なデータ認証をクリアする準備が整います。

試験

  • Hadoop 2.7とYARNのマスターファンダメンタルスとそれらを使用したアプリケーションの作成
  • Amazon EC2上に擬似ノードとマルチノードクラスタを設定する
  • マスターHDFS、MapReduce、Hive、Pig、Oozie、Sqoop、Flume、Zookeeper、HBase
  • Spark、Spark RDD、Graphx、MLlibのスパークアプリケーションの学習
  • クラスタ管理、監視、管理、トラブルシューティングなどのHadoop管理活動のマスター
  • MapReduce、Hive、Pigなどで動作するようにPentaho / TalendのようなETLツールを設定する
  • ビッグデータ分析の詳細な理解
  • MRユニットやその他の自動化ツールを使用したHadoopテストアプリケーション
  • Avroデータ形式で作業する
  • HadoopとApache Sparkを使って実際のプロジェクトを実践する
  • Big Data Hadoop認定をクリアする準備ができている。

対象とする訪問者

  • プログラミング開発者とシステム管理者
  • 経験豊富な専門家、プロジェクトマネージャー
  • Big DataHadoopデベロッパーは、テスト、アナリティクス、管理のような他の業界を学びたい
  • メインフレームのプロフェッショナル、建築家、テスト担当者
  • ビジネスインテリジェンス、データウェアハウスおよびアナリティクスの専門家
  • 卒業生、最新のビッグデータ技術を学ぶことを熱望している大学生は、このBig Data Hadoop認定オンライントレーニングを受けることができます

必須条件

  • このBigデータトレーニングを受け、Hadoopを習得するための前提条件はありません。 しかし、UNIX、SQL、およびJavaの基本は良いでしょう。Intellipaatでは、Big Data認定トレーニングで無料のUnixとJavaコースを提供し、必要なスキルをブラッシュアップしてHadoopの学習経路を改善します。

Course Outline Duration: 2 Days

Big Data&Hadoopとそのエコシステム、Map ReduceとHDFSの紹介

大きなデータとは、Hadoopがどこに収まるか、Hadoop分散ファイルシステム - 複製、ブロックサイズ、セカンダリネームノード、高可用性、YARNの理解 - ResourceManager、NodeManager、1.xと2.xの違い

Hadoopのインストールとセットアップ

Hadoop 2.xクラスタアーキテクチャ、フェデレーションとハイアベイラビリティ、典型的なプロダクションクラスタセットアップ、Hadoopクラスタモード、共通Hadoopシェルコマンド、Hadoop 2.x設定ファイル、Clouderaシングルノードクラスタ

Mapreduceの深いダイビング

Mapreduceの仕組み、リデューサの仕組み、ドライバの仕組み、コンバイナ、パーティション、入力フォーマット、出力フォーマット、シャッフルとソート、マップサイドジョイン、サイドジョイントの削減、MRUnit、分散キャッシュ

ラボ演習:

HDFSの使用、WordCountプログラムの作成、カスタムパーティショナーの作成、コンバイナーを使用したMapreduce、マップサイド結合、サイドジョインの削減、Unit Testing Mapreduce、LocalJobRunnerモードでのMapreduceの実行

グラフ問題解決

グラフ、グラフの表現、幅広い最初の探索アルゴリズム、マップの縮小のグラフ表現、グラフアルゴリズムの実行方法、グラフマップの縮小の例、

    エクササイズ1:エクササイズ2:エクササイズ3:

豚の詳細な理解

A.ブタの紹介

Apache Pigを理解する、機能、さまざまな使い方、そしてPigと対話するための学習

B.データ解析のためのブタの配備

Pig Latinの構文、さまざまな定義、データのソートとフィルタ、データ型、ETL、データ読み込み、スキーマの表示、フィールド定義、一般的に使用される機能のためのPigの配備。

C.複雑なデータ処理のための豚

ネストされた複雑なデータ型、Pigによるデータ処理、グループ化されたデータの反復、実践的なエクササイズ

D. Performing multi-dataset operations

データセット結合、データセット分割、データセット結合のための様々な方法、セット操作、実習

E.豚を伸ばす

ユーザー定義関数の理解、他の言語、インポートおよびマクロによるデータ処理の実行、ストリーミングおよびUDFを使用した豚の拡張、実践的演習

F.豚の仕事

ケーススタディとしてのWalmartとElectronic Artsを含む実際のデータセットの使用

ハイブの詳細な理解

A.ハイブの紹介

Hiveの理解、従来のデータベースとHive、PigとHiveの比較、HiveとHiveスキーマへのデータの格納、Hiveの相互作用とHiveのさまざまな使用例

B.リレーショナルデータ分析のためのハイブ

HiveQL、基本的な構文、さまざまなテーブルとデータベース、データ型、データセットの結合、さまざまな組み込み関数、Hiveクエリをスクリプト、シェル、およびHueに展開する。

C.ハイブによるデータ管理

さまざまなデータベース、データベースの作成、Hiveのデータフォーマット、データモデリング、Hive管理テーブル、自己管理テーブル、データロード、データベースとテーブルの変更、ビューによるクエリの単純化、クエリの結果格納、データアクセス制御、データの管理Hive、Hive Metastore、Thriftサーバーを使用しています。

D.ハイブの最適化

クエリ、データインデックス作成、パーティショニング、バケット作成の学習パフォーマンス

E.ハイブを伸ばす

Hiveを拡張するためのユーザー定義関数のデプロイ

F.練習問題 - 大量のデータセットと豊富なクエリを扱う

大量のデータセットと大量のクエリ用にHiveを展開する

G. UDF、クエリの最適化

ユーザー定義クエリの使用、クエリの最適化方法の学習、パフォーマンスチューニングを行うさまざまな方法。

インパラ

A.インパラの紹介

Impalaとは何ですか?ImpalaとHiveとPigとの違い、ImpalaとRelational Databaseとの違い、制限、および今後の方向性、Impalaシェルの使い方

B.ベストを選ぶ(ハイブ、ブタ、インパラ)

C.インパラとハイブによるデータのモデリングと管理

データストレージの概要、データベースとテーブルの作成、テーブルへのデータのロード、HCatalog、Impalaメタデータのキャッシュ

D.データパーティショニング

パーティショニングの概要、インパラとハイブのパーティショニング

(AVRO)データ形式

ファイル形式の選択、ファイル形式のツールサポート、Avroスキーマ、AvroとHiveおよびSqoopの使用、Avroスキーマの進化、圧縮

Hbaseアーキテクチャの紹介

Hbaseとは何ですか、それはどこに適合しますか、NOSQLとは

Apache Spark

A.なぜスパークですか? SparkおよびHadoop分散ファイルシステムの操作

Sparkとは何か、SparkとHadoopの比較、Sparkのコンポーネント

B.スパークコンポーネント、一般的なスパークアルゴリズム - 反復アルゴリズム、グラフ解析、機械学習

Apache Spark - はじめに、一貫性、可用性、パーティション、統合スタックスパーク、スパークコンポーネント、スケーリングの例、マハウト、嵐、グラフ

C.クラスタ上でSparkを実行する、Python、Java、Scalaを使用してSparkアプリケーションを作成する

Explicit Pythonの例、スパークのインストール、ドライバプログラムの説明、弱い型の変数の定義、スラックとJavaのシームレスな結合、特性の説明、高次関数の例の説明、OFIの定義スケジューラ、スパークの利点、スパークを使用したLamdaの例、マップレンダリングの例

Hadoopクラスタのセットアップと実行マップ縮小ジョブ

Amazon ec2を使用したマルチノードクラスタセットアップ - 4ノードクラスタセットアップの作成、クラスタでのマップリダクションジョブの実行

主なプロジェクト - すべてをまとめてドットを結ぶ

すべてをまとめてドットを結ぶ、大きなデータセットを操作する、大規模なデータを分析するステップ

HadoopエコシステムとのETL接続

ETLツールからのETLツールの動作、ETLツールからのHDFSへの接続、ローカルシステムからHDFSへのデータ移動、DBMSからHDFSへのデータ移動、ETLツールによるハイブの操作、ETLツールでのジョブの縮小、エンドツーエンドETL ETLツールとの大きなデータ統合を示すPoC

クラスタ構成

設定概要と重要な設定ファイル、設定パラメータと値、HDFSパラメータMapReduceパラメータ、Hadoop環境設定、 'Include'と 'Exclude'設定ファイル、Lab:MapReduceパフォーマンスチューニング

管理と保守

ネームノード/データノードのディレクトリ構造とファイル、ファイルシステムイメージと編集ログ、チェックポイントプロシージャ、ネームノードの障害と回復手順、セーフモード、メタデータとデータのバックアップ、潜在的な問題と解決策/探す対象、ノードの追加と削除、 MapReduceファイルシステムの回復

監視とトラブルシューティング

クラスタを監視するためのベストプラクティス、監視とトラブルシューティングのためにログとスタックトレースを使用する、オープンソースツールを使用してクラスタを監視する

ジョブスケジューラ:ジョブの送信フローを削減する

同じクラスタ、FIFOスケジュール、公正スケジューラおよびその設定でジョブをスケジュールする方法

マルチノードクラスタのセットアップと実行マップAmazon Ec2上のジョブを削減

Amazon ec2を使用したマルチノードクラスタセットアップ - 4ノードクラスタセットアップの作成、クラスタでのマップリダクションジョブの実行

飼い主

ZOOKEEPERの紹介、ZOOKEEPERユースケース、ZOOKEEPERサービス、ZOOKEEPERデータモデル、Znodesとそのタイプ、Znodesオペレーション、Znodesウォッチ、Znodes読み書き、一貫性保証、クラスター管理、リーダー選挙、分散排他ロック、重要ポイント

アドバンス・オージー

Oozieのインストール、Oozieのインストール、Oozieワークフローエンジンの例、M / Rアクションの例、ワードカウントの例、ワークフローアプリケーション、ワークフローの送信、ワークフローの状態遷移、Oozieジョブ処理、Oozieセキュリティ、Oozieセキュリティの理由、 、マルチテナントとスケーラビリティ、Oozieジョブのタイムライン、コーディネータ、バンドル、抽象化のレイヤー、アーキテクチャ、ユースケース1:時間トリガ、ユースケース2:データと時間トリガ、ユースケース3:ローリングウィンドウ

アドバンスフルメ

Apache Flume、物理的に分散したデータソース、データ構造の変更、見た目の美しさ、Flumeの解剖学、コア概念、イベント、クライアント、エージェント、ソース、チャネル、シンク、インターセプタ、チャネルセレクタ、シンクプロセッサ、データインジェスト、エージェントパイプライン、トランザクションデータ交換、ルーティングと複製、なぜチャネル?、ユースケース - ログ集約、Flumeエージェントの追加、サーバーファームの処理、エージェントごとのデータボリューム、単一ノードのflume展開の例

アドバンスHUE

HUEの紹介、HUEエコシステム、HUEとは何か、HUEの現実の世界観、HUEのメリット、ファイルブラウザでのデータのアップロード方法、コンテンツの表示、ユーザーの統合、HDFSの統合、HUE FRONTENDの基礎

アドバンスインパラ

IMPALA概要:目標、Impalaのユーザービュー:概要、Impalaのユーザービュー:SQL、Impalaのユーザービュー:Apache HBase、Impalaアーキテクチャ、Impala状態ストア、Impalaカタログサービス、クエリ実行フェーズ、ImpalaとHiveの比較

Hadoopアプリケーションのテスト

テストが重要な理由ユニットテスト、統合テスト、パフォーマンステスト、診断、ナイトリーQAテスト、ベンチマークとエンドツーエンドテスト、機能テスト、リリース認定テスト、セキュリティテスト、スケーラビリティテスト、データノードの試運転と廃止テスト、信頼性テスト、リリーステスト

Hadoop Testing Professionalの役割と責任

テストの準備、テストベッドの作成、テストの実行、不具合の報告、不具合の再テスト、毎日のステータスレポートの配信、テストの完了、すべての段階でのETLテスト(HDFS、HIVE、HBASE)whileリコンシリエーション、ユーザー認証、認証テスト(グループ、ユーザー、特権など)を含むがこれに限定されないsqoop / flumeを使用して入力(ログ/ファイル/レコードなど)を読み込み、開発チームまたはマネージャに不具合を報告し、それらを閉じ、すべての欠陥を統合して欠陥報告を作成する、Core Hadoopの新しい機能と問題を検証する。

Map-Reduceプログラムのテスト用MRユニットと呼ばれるフレームワーク

開発チームやマネージャーに不具合を報告し、閉鎖を促し、すべての欠陥を統合し、欠陥報告を作成する。Map-Reduceプログラムのテスト用にMRユニットと呼ばれるテストフレームワークを作成する責任がある。

ユニットテスト

OOZIEを使用した自動テスト、クエリサージツールを使用したデータ検証。

テスト実行

HDFSアップグレードのテスト計画、テストの自動化と結果

テスト計画Hadoopアプリケーションをテストするための戦略と記述テストケース

インストールと設定をテストする方法

仕事と認定のサポート

Cloudera認定のヒントとガイダンスと模擬インタビューの準備、実践的な開発のヒントとテクニック

で私たちにお書きください info@itstechschool.com &+ 91-9870480053までお問い合わせください。コース料金&認証費用、スケジュール、場所

私たちに質問を投げ捨てる

このトレーニングコースは、両方をクリアするのに役立つように設計されています Cloudera SparkおよびHadoop開発者証明書(CCA175) 試験と Apache Hadoop(CCAH)のCloudera認定管理者 試験。 トレーニングコースの全内容は、これらの2つの認定プログラムに沿っており、これらの認定試験を簡単にクリアし、トップのMNCで最高の仕事を得るのに役立ちます。

このトレーニングの一環として、現実世界の業界シナリオに大きな影響を与えるリアルタイムのプロジェクトや課題に取り組むことで、キャリアを迅速に追跡するのに役立ちます。

このトレーニングプログラムの最後には、それぞれの認定試験で尋ねられる質問のタイプを完全に反映したクイズがあり、認定試験でより良い得点を得るのに役立ちます。

ITSコース修了証 プロジェクトの作業の完了時(専門家によるレビュー時)、およびクイズで60%以上の得点を獲得した場合に授与されます。 Intellipaatの認証は、Ericsson、Cisco、Cognizant、Sony、Mu Sigma、Saint-Gobain、Standard Chartered、TCS、Genpact、Hexawareなどのトップ80 + MNCで高く評価されています。

親切な情報 お問い合わせ。


レビュー