機械学習

多クラスロジスティック回帰④ ソフトマックス関数の微分

投稿日:

こちらを読むと

  • 多クラスロジスティック回帰のソフトマックス関数の微分 の導出過程が分かります。

前回の記事で、ソフトマックス関数の微分の導出過程を途中まで記載しました。今回はその続きです。

前回のおさらい

入力を\(x_i\)、出力を\(y_i\) (\(i\)=1,2, …n)とすると、
$$
\begin{pmatrix}
y_1 \\
y_2 \\
\vdots \\
y_n
\end{pmatrix}
=
\frac{1}{\sum_{j=1}^n e^{x_j}}
\begin{pmatrix}
e^{x_1} \\
e^{x_2} \\
\vdots \\
e^{x_n}
\end{pmatrix}
$$

以下のようにおくと、
$$
Z := \sum_{j=1}^n e^{x_j}
$$

\(i=j\)のとき、ソフトマックス関数の微分は、
$$
\begin{eqnarray}
\frac{\partial y_i }{\partial x_i} &=& \frac{e^{x_i}Z – e^{x_i}e^{x_i}}{Z^2} \\
&=& \frac{e^{x_i}}{Z}-(\frac{e^{x_i}}{Z})^2= y_i(1 – y_i)
\end{eqnarray}
$$

となると説明しました。
今回は、\(i \neq j\)の場合について説明します。

ソフトマックス関数の微分(続き)

\(i \neq j\)の場合、
$$
\begin{eqnarray}
\frac{\partial y_i}{\partial x_j}&=&\frac{\partial}{\partial x_j} \frac{e^{x_i}}{Z}\\
&=& \frac{1}{Z^2}( \frac{\partial e^{x_i}}{\partial x_j}Z – e^{x_i}\frac{\partial Z}{\partial x_j} )\\
&=& \frac{1}{Z^2}( -e^{x_i}\frac{\partial Z}{\partial x_j} ) (※1)\\
&=& \frac{1}{Z^2}( -e^{x_i}\frac{\partial}{\partial x_j}(e^{x_1} + e^{x_2} + \dots + e^{x_j} + \dots + e^{x_n}) ) \\
&=& \frac{-e^{x_i}e^{x_j}}{Z^2} \\
&=& -y_iy_j
\end{eqnarray}
$$

(※1) $$\frac{\partial e^{x_i}}{\partial x_j}=0より (x_iの関数をx_jで微分するため)$$

いままでの式をまとめると、以下で表すことができます。
$$
\frac{\partial y_i}{\partial x_j} =
\begin{cases}
y_i(1 – yi)~~~(i = j) \\
-y_iy_j~~~~~~~~(i \neq j)
\end{cases}
$$

まとめ

  • 多クラスロジスティック回帰のソフトマック関数の微分を説明しました。

ここまでで、ようやくモデル式を表すための準備ができました。次回はモデル式の導出に入っていきます。

Reference

詳解ディープラーニング
https://book.mynavi.jp/manatee/books/detail/id=7242



-機械学習

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

ロジスティック回帰② アルゴリズム

Table of Contents こちらを読むと尤度関数を用いた最尤推定まとめReference こちらを読むと ロジスティック回帰のアルゴリズムを理解できます 前回の記事で、ロジスティック回帰はシ …

単純パーセプトロン①

Table of Contents こちらを読むと単純パーセプトロンとは式まとめReference こちらを読むと ニューラルネットワークのパーセプトロンの概要を知ることができます 単純パーセプトロン …

Kaggle Kernelでライブラリをpip installでインストールする方法

Table of Contents こちらを読むとはじめにKaggle Kernel画面外部ライブラリのインストールまとめ こちらを読むと Kaggle Kernelでライブラリをpip instal …

ロジスティック回帰①

Table of Contents こちらを読むとロジスティック回帰とは何が嬉しいかシグモイド関数モデル式まとめReference こちらを読むと 機械学習のロジスティック回帰の概要を知ることができま …

SIerエンジニアが1年間AIを勉強して感じること

Table of Contents こちらを読むと結論:AI職は、エンジニアの上位職ではなく、別物著者についてAI職と一般エンジニアとの違い機械学習エンジニアが一般エンジニアと違うところ機械学習のモデ …