
コース名: NoSQLとHadoopを使用したビッグデータ分析:Big-Data-B
研修日数:5日間
コースの目的:
– 単一のマシンのストレージおよび処理能力を超える大規模なデータセットを処理できます。
– クラウド上のサービスとしての Hadoop を使用して、必要なデータを分析するためのクラスタを作成できます。
– 大規模なデータセットを処理のために移動することなく、処理のためにプログラムを送信するテクノロジーを使用して、大規模なデータセットを理解して分析できます。
– テキスト ファイルなどの非構造化データ、CSV や JSON などの半構造化データ、およびリレーショナル データベースからのデータなどの構造化データを処理できます。
– 特定の種類のデータに対して NoSQL を使用する必要性を理解できます
。 – 適切な方法を使用して、欠損データを処理できます。
– さまざまなデータ タイプを変換して、元の意味を失うことなく数値的に分析できます。
– データまたは顧客行動の異常を検出できます。
使用されているデータは事例研究である。
– 銀行顧客の取引データ
– 顧客の人口統計データ
– 顧客のウェブ閲覧履歴
– クレジットカード所有者データ
– 欠損データの分析とデータ変換の例として使用される、糖尿病患者の治療データなど、トレーニングトピックに関連する他のソースからの実際のデータ。
注記
– 顧客データは仮想データであり、個々のユーザーを特定することはできません。
– 使用される分析ツールは、一般的なデータ分析ツールとビッグデータ分析ツールの両方です。
このコースは以下のような方に適しています:
– データ分析を専門とするチームメンバー
– データベース担当者/IT担当者/IT開発者/ビッグデータ開発者
研修生の経歴。
データ処理の実務経験が最低1年以上あること。
インストラクター
ファイサン・ファドゥンウィアン博士(プロフィール)
参加者は各自のパソコンを持参する必要があります。
コース概要
| 1日目/5日間 | |
| 時間 | タイトル |
| 午前9時~午前10時30分. | Hadoop入門 – Hadoopクラスタ – Hadoop分散ファイルシステム(HDFS) – MapReduceとYARN |
| 午前10時30分~10時45分. | 壊す |
| 午前10時45分~午後12時. | – Hadoopソフトウェア配布製品の比較 – Hadoopエコシステム向けハードウェアの比較 LAB: クラウドプロバイダー上のサービスとしてのHadoop |
| 12:00~13:00. | ランチ |
| 13:00~14:30. | – MapReduceフレーム ワークラボ: Hadoop MapReduceプログラミング |
| 14:30~14:45. | 壊す |
| 14:45~16:30. | ラボ: Sparkのmapおよびreduce APIを使用した銀行の顧客取引統計 |
| 2日目/5日間 | |
| 時間 | タイトル |
| 午前9時~午前10時30分. | Spark入門 – 概要と概念 – Sparkアーキテクチャ – Sparkコア – 大規模データセットを操作するためのSpark API: – 耐障害性分散データセット(RDD) – DataFrame |
| 午前10時30分~10時45分. | 壊す |
| 午前10時45分~午後12時. | ラボ: 操作:変換、アクション、キャッシング |
| 12:00~13:00. | ランチ |
| 13:00~14:30. | ラボ: Spark DataFrame APIとSQLを使用したWebアプリケーションログ分析 |
| 14:30~14:45. | 壊す |
| 14:45~16:30. | 実習: Spark DataFrame APIとSQLを使用したWebアプリケーションログ分析(続き) |
| 3日目/5日間 | |
| 時間 | タイトル |
| 午前9時~午前10時30分. | NoSQL入門 – NoSQLとは何か – NoSQLアーキテクチャ – NoSQLの特徴 – NoSQLデータベースの利点と欠点 |
| 午前10時30分~10時45分. | 壊す |
| 午前10時45分~午後12時. | NoSQL入門(続き) – NoSQLとリレーショナルデータベースの – NoSQLデータストアの種類 |
| 12:00~13:00. | ランチ |
| 13:00~14:30. | HBase:NoSQL、カラムファミリーの大規模データベース – HBaseの概要 – HBaseのアーキテクチャ – HBaseのデータモデル |
| 14:30~14:45. | 壊す |
| 14:45~16:30. | – HBaseシェルと一般コマンド 演習: HBaseテーブルへのNoSQLデータの保存 |
| 4日目/5日目 | |
| 時間 | タイトル |
| 午前9時~午前10時30分. | Hiveを使用したビッグデータ分析 – Hiveデータモデルとテーブル管理 – Hiveデータ型 – パーティショニングとバケット化 |
| 午前10時30分~10時45分. | 壊す |
| 午前10時45分~午後12時. | 実習: Hiveクエリ:テーブルの作成、変更、削除 |
| 12:00~13:00. | ランチ |
| 13:00~14:30. | ラボ: Hive外部テーブルとHive管理テーブルの比較 |
| 14:30~14:45. | 壊す |
| 14:45~16:30. | 実習: Hiveを使用した半構造化データと多様なデータソースの操作 – ユースケース: – Webサイトにアクセスしたユーザーのログ(テキストファイル)、 – 顧客取引(RDBMSおよびCSVファイルから) |
| 5日目 / 5 | |
| 時間 | タイトル |
| 午前9時~午前10時30分. | データサンプリングと前処理 – Spark DataFramesによる表形式データの操作 – データ型と属性の変換 – 欠損値 |
| 午前10時30分~10時45分. | 壊す |
| 午前10時45分~午後12時. |
ラボ: 小規模データと大規模データにおける欠損値と属性変換(ユースケース:クレジットカード申請および関連データ) |
| 12:00~13:00. | ランチ |
| 13:00~14:30. |
外れ値/異常値の検出 – 有用なデータ視覚化 |
| 14:30~14:45. | 壊す |
| 14:45~16:30. |
ラボ: 小規模データおよび大規模データにおける顧客異常検知と可視化 |
注記
スケジュールは必要に応じて変更される場合があります。
すべての実習には例題が含まれ、講師がワークショップ全体を通して指導を行います。
詳細については、 メール(sales@rdbi.co.th)または電話(064-798-4192)でお問い合わせください。
