データサイエンティスト基礎コース、パート3：データサイエンティストのためのモデル構築手順の概要。

データサイエンティストのためのモデル構築プロセス。

1.データの理解

モデル構築に適したデータ例、データ型、およびグラフ形式でのデータ表示について説明してください。

2.データ前処理

モデル構築のためのデータ準備には、データのクレンジング、欠損データの処理、外れ値の管理が含まれます。

分析を可能にするためのデータ操作。例えば、名義データを計数によって変換するなど。

連続する数値データを順序形式に変換するとは、データを等しい間隔に分割するか、各間隔の出現頻度を数えることを意味します。

データによっては、[0, 1]や[-1, +1]などの目的の範囲内に収まるようにスケーリングする必要がある場合があります。

データのスケーリングによるメリットとしては、モデル構築の高速化や、各変数が等しく重要視されることが挙げられます。

3.モデルのトレーニングとモデルの評価

教師あり機械学習モデルと教師なし機械学習モデルの違いは、教師ありモデルでは実世界のデータと事前に定義された予測モデルが必要となる点にあります。例えば、猫の画像の結果を予測するには、モデルを構築するために多数の猫の画像が必要となり、それぞれの画像を猫と識別し、それ以外を猫ではないと識別します。そして、新しい猫の画像が入力されると、モデルはそれが猫かどうかを予測できるようになります。一方、教師なしモデルは、特定の対象を識別できないデータを使用して構築されます。

優れたモデルを構築するには、データをモデル構築とテストのために訓練セットとテストセットに分割する必要があります。訓練セットとテストセットは、データポイントをランダムに選択して作成する必要があります。データセット全体を使用するとパターン認識につながり、予測不可能なモデルになってしまうため、全データセットを使用することは避けるべきです。

モデル構築には大きく分けて2種類あります。データに目標値がない場合は教師なし機械学習手法が用いられ、データに目標値が設定されている場合は教師あり機械学習手法が用いられます。

モデル構築には多くの手法があります。ファイサン教授は、Excel、Weka、Python、Sparkを用いた入門的な解説とともに、いくつかの手法を選定し、様々なソフトウェアプログラムを用いたモデル作成方法とデータ分析プロセスを分かりやすく説明しました。

講演者： R&D BI Co., Ltd.
Pairsan Padungwiang 博士。
編集：Nuchanat Rongroang
www.rdbi.co.th
#コンサルタント
#データサイエンティスト
#ビッグデータ分析

データサイエンスの基礎に関する記事集。