コース名: NoSQLとHadoopを使用したビッグデータ分析:Big-Data-B

研修日数:5日間

コースの目的:

– 単一のマシンのストレージおよび処理能力を超える大規模なデータセットを処理できます。
– クラウド上のサービスとしての Hadoop を使用して、必要なデータを分析するためのクラスタを作成できます。
– 大規模なデータセットを処理のために移動することなく、処理のためにプログラムを送信するテクノロジーを使用して、大規模なデータセットを理解して分析できます。
– テキスト ファイルなどの非構造化データ、CSV や JSON などの半構造化データ、およびリレーショナル データベースからのデータなどの構造化データを処理できます。
– 特定の種類のデータに対して NoSQL を使用する必要性を理解できます
。 – 適切な方法を使用して、欠損データを処理できます。
– さまざまなデータ タイプを変換して、元の意味を失うことなく数値的に分析できます。
– データまたは顧客行動の異常を検出できます。

使用されているデータは事例研究である。

– 銀行顧客の取引データ
– 顧客の人口統計データ
– 顧客のウェブ閲覧履歴
– クレジットカード所有者データ
– 欠損データの分析とデータ変換の例として使用される、糖尿病患者の治療データなど、トレーニングトピックに関連する他のソースからの実際のデータ。

注記

– 顧客データは仮想データであり、個々のユーザーを特定することはできません。
– 使用される分析ツールは、一般的なデータ分析ツールとビッグデータ分析ツールの両方です。

このコースは以下のような方に適しています:

– データ分析を専門とするチームメンバー
– データベース担当者/IT担当者/IT開発者/ビッグデータ開発者

研修生の経歴。

データ処理の実務経験が最低1年以上あること。

インストラクター

ファイサン・ファドゥンウィアン博士(プロフィール)

参加者は各自のパソコンを持参する必要があります。

コース概要

   1日目/5日間 
  時間タイトル
午前9時~午前10時30分.Hadoop入門
– Hadoopクラスタ
– Hadoop分散ファイルシステム(HDFS)
– MapReduceとYARN
午前10時30分~10時45分.壊す
午前10時45分~午後12時.– Hadoopソフトウェア配布製品の比較
– Hadoopエコシステム向けハードウェアの比較
LAB: クラウドプロバイダー上のサービスとしてのHadoop
12:00~13:00.ランチ
13:00~14:30.– MapReduceフレーム
ワークラボ: Hadoop MapReduceプログラミング
14:30~14:45.壊す
14:45~16:30.ラボ: Sparkのmapおよびreduce APIを使用した銀行の顧客取引統計
    2日目/5日間 
 時間タイトル
午前9時~午前10時30分.Spark入門
– 概要と概念
– Sparkアーキテクチャ
– Sparkコア
– 大規模データセットを操作するためのSpark API:
– 耐障害性分散データセット(RDD)
– DataFrame
午前10時30分~10時45分.壊す
午前10時45分~午後12時.ラボ: 操作:変換、アクション、キャッシング
12:00~13:00.ランチ
13:00~14:30.ラボ: Spark DataFrame APIとSQLを使用したWebアプリケーションログ分析
14:30~14:45.壊す
14:45~16:30.実習: Spark DataFrame APIとSQLを使用したWebアプリケーションログ分析(続き)
     3日目/5日間 
  時間タイトル
午前9時~午前10時30分.NoSQL入門
– NoSQLとは何か
– NoSQLアーキテクチャ
– NoSQLの特徴
– NoSQLデータベースの利点と欠点
午前10時30分~10時45分.壊す
午前10時45分~午後12時.NoSQL入門(続き)
– NoSQLとリレーショナルデータベースの
– NoSQLデータストアの種類
12:00~13:00.ランチ
13:00~14:30.HBase:NoSQL、カラムファミリーの大規模データベース
– HBaseの概要
– HBaseのアーキテクチャ
– HBaseのデータモデル
14:30~14:45.壊す
14:45~16:30.– HBaseシェルと一般コマンド
演習: HBaseテーブルへのNoSQLデータの保存
    4日目/5日目 
  時間タイトル
午前9時~午前10時30分.Hiveを使用したビッグデータ分析
– Hiveデータモデルとテーブル管理
– Hiveデータ型
– パーティショニングとバケット化
午前10時30分~10時45分.壊す
午前10時45分~午後12時.実習: Hiveクエリ:テーブルの作成、変更、削除
12:00~13:00.ランチ
13:00~14:30.ラボ: Hive外部テーブルとHive管理テーブルの比較
14:30~14:45.壊す
14:45~16:30.実習: Hiveを使用した半構造化データと多様なデータソースの操作 – ユースケース:
– Webサイトにアクセスしたユーザーのログ(テキストファイル)、
– 顧客取引(RDBMSおよびCSVファイルから)
    5日目 / 5 
  時間タイトル
午前9時~午前10時30分.データサンプリングと前処理
– Spark DataFramesによる表形式データの操作
– データ型と属性の変換
– 欠損値
午前10時30分~10時45分.壊す
午前10時45分~午後12時.

ラボ: 小規模データと大規模データにおける欠損値と属性変換(ユースケース:クレジットカード申請および関連データ)

12:00~13:00.ランチ
13:00~14:30.

外れ値/異常値の検出

– 有用なデータ視覚化
14:30~14:45.壊す
14:45~16:30.

ラボ: 小規模データおよび大規模データにおける顧客異常検知と可視化

トレーニングスケジュールをダウンロードしてください。

注記

スケジュールは必要に応じて変更される場合があります。
すべての実習には例題が含まれ、講師がワークショップ全体を通して指導を行います。

詳細については、 メール(sales@rdbi.co.th)または電話(064-798-4192)でお問い合わせください。