今回は，確率的勾配降下法(Stochastic Gradient Descent, 以下 SGD)について触れてみようと思います． SGDは次のような目的関数が期待値で表現された最適化問題などに適用されるオンラインアルゴリズムです． ここで， は に従う確率変数とします． この形の最適化問題は機械学習の分野でよく表れます．今回は詳しく述べませんが，例えば とした場合の(1)はサポートベクターマシンに対応しています．以下では，機械学習の分野にならって を損失関数， を期待損失と呼ぶことにします． 最適化問題に対するアルゴリズムとしては，勾配法が良く知られています．勾配法というのは反復点が のとき，次の点を とする反復アルゴリズムのことで，各反復点において目的関数の勾配とは逆方向に進むので，最小点への 収束が期待されるわけです．問題(1)についてもこの勾配法を適用出来れば，それで求解でき
