「ビッグデータ」もう何度も耳にした用語ではないでしょうか？
では、具体的にどのように活用すれば良いのでしょう。
メディアプランの方法論で言えばDiscoveryやLook-alikeがありますが
とにかくデータに触れてみて、分析をしてみる事が新たな発見の近道だと思います。
ということでMahoutでRandom Forestを試してみました。
■環境
・Hadoop
・Pig
・Mahout-0.7
■Random Forestとは
多数の決定木を用いた集団学習により、他の分類(SVMなど)と比べ
高精度の分類・予測（回帰）を実現する機械学習アルゴリズム。
ようは多数の決定木を作成して、それぞれの決定木が出した答えを多数決して、
最も支持が多かったクラスに分類する手法です。
質問に「YES」か「NO」で答える診断テストが複数あって、その中で
1番多く当てはまった診断結果を最終の解にするイメージですかね。
「三人寄れば文殊の知恵」
■MahoutでRandom Forestを試してみる
Rのデータセットのirisを分類してみます。
データ：iris(アヤメのデータ)
irisの散布図
| 説明変数 | 目的変数 | |||
|---|---|---|---|---|
| 花葉(長さ:幅) | 花びら(長さ:幅) | 種類 | ||
| Sepal.Length | Sepal.Width | Petal.Length | Petal.Width | Species |
| 5.1 | 3.5 | 1.4 | 0.2 | setosa |
| 6.5 | 3 | 5.5 | 1.8 | virginica |
| 5,2 | 3,3 | 3 | 1 | versicolor |
・Rで学習データとテストデータをランダムに抽出
data |
・HDFSに登録
$hadoop fs -put iris.train iris_data |
・データセット(説明ファイル)を作成する
$mahout org.apache.mahout.classifier.df.tools.Describe \ -p iris_data/iris_train \ -f iris_data/iris_train+.info \ -d 4 N L |
※-dオプションは「Iが無視、Nが数値、Cがカテゴリ文字列、Lがラベル(目的変数)」
・モデルを作成する
$mahout org.apache.mahout.classifier.df.mapreduce.BuildForest \ -d iris_data/iris_train \ -ds iris_data/iris_train+.info \ -o decision_forest_iris \ -t 10 #ツリーの数 |
・モデルを評価する
$mahout org.apache.mahout.classifier.df.mapreduce.TestForest \ -i iris_data/iris_train \ -ds iris_data/iris_train+.info \ -m decision_forest_iris \ -a -mr -o test_iris_output |
実行結果
Summary
——————————————————-
Correctly Classified Instances : 74 98.6667%
Incorrectly Classified Instances : 1 1.3333%
Total Classified Instances : 75
==================================================
Confusion Matrix
——————————————————-
a b c 25 1 0 | 26 a = virginica
0 24 0 | 24 b = versicolor
0 0 25 | 25 c = setosa
とりあえず、そのまま学習データで評価してみました。
当然ですが99%近い高いスコアで動作しています。
・Classifyしてみる
～Javaコード抜粋～
Configuration conf = new Configuration(); Path forestPath = new Path("decision_forest");//モデルのPath // decisionForestを取得 DecisionForest decisinForest = DecisionForest.load(conf, forestPath); // Datasetを取得 Dataset dataset = Dataset.read(datasetBinary); // 本来はベクトルから取得するが、とりあえずiris.testからベタで記述 //String vector = "5.8,2.7,5.1,1.9,0"; //0 virginica //String vector = "7,3.2,4.7,1.4,0"; // 1 versicolor String vector = "5.1,3.5,1.4,0.2,0"; //2 setosa DataConverter dataConverter = new DataConverter(dataset); Instance instance = dataConverter.convert(vector); Random random = new Random(); //Classifyを実施 double id = decisinForest.classify(dataset, random, instance); log.debug("classify=============>" + id); |
実行結果
classify=============>2.0
解答が2.0なので、正しくsetosaに分類されてますね。
今回はRのデータセットを利用したのでRでもRandomForestを実施してみます。
#RandomForestを生成(目的変数はSpecies) forest |
実行結果
pred.forest setosa versicolor virginica
setosa 25 0 0
versicolor 0 24 4
virginica 0 2 20
Rでも高い正解率ですね！
■まとめ
今回はiris(アヤメ)のデータで試してみましたが、例えばオーディエンスデータだと考えてみましょう。
オーディエンスデータは花びらと花葉の代わりにデモグラフィック(地域や性別など)や興味データの情報を持っています。
これを基に分析してみるとLook-alike(似た人を探す)などが実現できるのではないでしょうか。
他にも似た物同士のいくつかのグループに分けてみるなど、色々と分析できますね。
ちなみに色々と試してみるデータはオープンデータがお勧めです。
とにかくデータを分析してみましょう！
