機械学習

多クラスロジスティック回帰⑥ モデル出力を確率で

投稿日:

こちらを読むと

  • 多クラスロジスティック回帰について、モデル出力を確率で表す方法が分かります

確率の表し方

前回までの記事で、多クラスロジスティック回帰のモデル出力がの式で表せることを説明しました。

$$
{\bf y} = f(W{\bf x} + {\bf b})
$$

ここでは、入力データがそれぞれのクラスに分類される確率を出してみましょう。

入力\({\bf x}\)に対して、分類されるいずれかのクラス値をとる確率変数を\(C\)とします。2値ロジスティック回帰のときは、\(C=0\)または\(C=1\)で表しました。

多クラスでは、\(C=k (k=1, 2, \dots, K)\)となります。

ある1つのニューロンの出力y_kを考えると、これは\({\bf x}\)がクラス\(k\)に分類される確率になります。

$$
\begin{eqnarray}
p(C=k|x) = y_k &=& f({\bf w}_k^T{\bf x} + b_k)\\
&=& \frac {exp({\bf w}_k^T{\bf x} + b_k)}{\sum_{j=1}^N exp({\bf w}_j^T {\bf x} + b_j)}
\end{eqnarray}
$$

まとめ

  • 多クラスロジスティック回帰について、モデル出力を確率で表す方法が分かりました

モデル出力を確率で表すことができたので、2値ロジスティック回帰と同様に交差エントロピー誤差関数が使えそうですね。次回はその求め方について書きます。

多クラスロジスティック回帰は式変形が複雑なので、ステップ・バイ・ステップで着実に進めていこうと思います。

Reference

詳解ディープラーニング
https://book.mynavi.jp/manatee/books/detail/id=72424null



-機械学習

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

SIerエンジニアが1年間AIを勉強して感じること

Table of Contents こちらを読むと結論:AI職は、エンジニアの上位職ではなく、別物著者についてAI職と一般エンジニアとの違い機械学習エンジニアが一般エンジニアと違うところ機械学習のモデ …

カテゴリ特徴量の変換方法

Table of Contents こちらを読むとデータ例One-HotエンコーディングダミーコーディングEffectコーディング変換方法のまとめまとめReference こちらを読むと カテゴリ特徴 …

機械学習でのカテゴリ特徴量の扱いについて

Table of Contents こちらを読むとカテゴリ特徴量とはカテゴリ特徴量の例カテゴリ特徴量は機械学習モデルで扱えないカテゴリ特徴量の変換例まとめ こちらを読むと カテゴリ特徴量とは何か?が分 …

kaggleのKernelでGPUを使うには

Table of Contents こちらを読むとはじめにKernelの設定まとめ こちらを読むと kaggleのKernelでGPUを使う方法が分かります。記事の所要時間は5分です。 はじめに ka …

単純パーセプトロン②

Table of Contents こちらを読むとモデルの数式誤り訂正学習法の更新式まとめ こちらを読むと 単純パーセプトロンのモデルの数式での表し方が分かります モデルの数式 前回のブログで、以下の …

Twitterフォロー

Twitterタイムライン