Konstruksjon av alternativ stokastisk gradientalgoritmen ved bruk av stokastisk analyse og optimal kontrollteori.

Abstract

Oppgaven viser at den stokastiske gradientalgoritmen med en minibatch størrelse r: x_(k+1) = x_k − η/r sum_(i=1)^n ∇f_i(x_k)1_δ(k+1)(i) konvergerer i fordeling, når læringsraten η → 0 mot løsningen av den stokastiske differensialligningen: dXt = −∇f(Xt)dt + (¯ηΣ(Xt))^1/2dBt t > 0 X_0 = x_0 x_0 ∈ R^d Basert på dette resultatet skal vi konstruere av en alternativ stokastisk gradientalgoritme ved bruk av stokastisk analyse og kontrollteori.