機械学習

多クラスロジスティック回帰④ ソフトマックス関数の微分

投稿日:

こちらを読むと

  • 多クラスロジスティック回帰のソフトマックス関数の微分 の導出過程が分かります。

前回の記事で、ソフトマックス関数の微分の導出過程を途中まで記載しました。今回はその続きです。

前回のおさらい

入力を\(x_i\)、出力を\(y_i\) (\(i\)=1,2, …n)とすると、
$$
\begin{pmatrix}
y_1 \\
y_2 \\
\vdots \\
y_n
\end{pmatrix}
=
\frac{1}{\sum_{j=1}^n e^{x_j}}
\begin{pmatrix}
e^{x_1} \\
e^{x_2} \\
\vdots \\
e^{x_n}
\end{pmatrix}
$$

以下のようにおくと、
$$
Z := \sum_{j=1}^n e^{x_j}
$$

\(i=j\)のとき、ソフトマックス関数の微分は、
$$
\begin{eqnarray}
\frac{\partial y_i }{\partial x_i} &=& \frac{e^{x_i}Z – e^{x_i}e^{x_i}}{Z^2} \\
&=& \frac{e^{x_i}}{Z}-(\frac{e^{x_i}}{Z})^2= y_i(1 – y_i)
\end{eqnarray}
$$

となると説明しました。
今回は、\(i \neq j\)の場合について説明します。

ソフトマックス関数の微分(続き)

\(i \neq j\)の場合、
$$
\begin{eqnarray}
\frac{\partial y_i}{\partial x_j}&=&\frac{\partial}{\partial x_j} \frac{e^{x_i}}{Z}\\
&=& \frac{1}{Z^2}( \frac{\partial e^{x_i}}{\partial x_j}Z – e^{x_i}\frac{\partial Z}{\partial x_j} )\\
&=& \frac{1}{Z^2}( -e^{x_i}\frac{\partial Z}{\partial x_j} ) (※1)\\
&=& \frac{1}{Z^2}( -e^{x_i}\frac{\partial}{\partial x_j}(e^{x_1} + e^{x_2} + \dots + e^{x_j} + \dots + e^{x_n}) ) \\
&=& \frac{-e^{x_i}e^{x_j}}{Z^2} \\
&=& -y_iy_j
\end{eqnarray}
$$

(※1) $$\frac{\partial e^{x_i}}{\partial x_j}=0より (x_iの関数をx_jで微分するため)$$

いままでの式をまとめると、以下で表すことができます。
$$
\frac{\partial y_i}{\partial x_j} =
\begin{cases}
y_i(1 – yi)~~~(i = j) \\
-y_iy_j~~~~~~~~(i \neq j)
\end{cases}
$$

まとめ

  • 多クラスロジスティック回帰のソフトマック関数の微分を説明しました。

ここまでで、ようやくモデル式を表すための準備ができました。次回はモデル式の導出に入っていきます。

Reference

詳解ディープラーニング
https://book.mynavi.jp/manatee/books/detail/id=7242



-機械学習

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

多クラスロジスティック回帰⑥ モデル出力を確率で

Table of Contents こちらを読むと確率の表し方まとめReference こちらを読むと 多クラスロジスティック回帰について、モデル出力を確率で表す方法が分かります 確率の表し方 前回ま …

Google Colaboratoryで大容量ファイルの分析を行う完全準備ガイド

Table of Contents こちらを読むとやりたいことたとえばシンプルにやると失敗するベストはGoogle Drive上でzip解凍しておくZIP Extractorで解凍まとめReferen …

ロジスティック回帰①

Table of Contents こちらを読むとロジスティック回帰とは何が嬉しいかシグモイド関数モデル式まとめReference こちらを読むと 機械学習のロジスティック回帰の概要を知ることができま …

Kaggle Kernelでライブラリをpip installでインストールする方法

Table of Contents こちらを読むとはじめにKaggle Kernel画面外部ライブラリのインストールまとめ こちらを読むと Kaggle Kernelでライブラリをpip instal …

kaggleのKernelでGPUを使うには

Table of Contents こちらを読むとはじめにKernelの設定まとめ こちらを読むと kaggleのKernelでGPUを使う方法が分かります。記事の所要時間は5分です。 はじめに ka …