研究動機
若我們假設當隨機變數X=x時，隨機變數Y=Y(x)之條件分配函數為H (y|x)且令M(x) = (Y|x)=∫_(-∞)^∞▒ydH(y|x)，則在一般廻歸分析中常假設M(x)=β_0+β_1 x，然後利用樣本觀測值(x_1,y_1)，(x_2,y_2)，…....，(x_n,y_n)去推定β_0及β_1。例如最小平方法(least square method)就是以能使∑_(i=1)^n▒( y_1-(b_0+b_1 x))²為最小值時之b_0及b_1去推定β_0及β_1並可進而推定M(x)之值。
現在我們以另一觀點去探討廻歸問題，卽我們不必假定M(x)為X之何種函數，而假定α為任意給定之實數，且M(x) =α有唯一之解x= θ(θ未知)，由於M(x)為一未知函數，因此我們無法直接求出M(x)= α之解，因此我們可以依照類似數值分析的討論方式，
假如給定一實數x_1，然後找一隨機變數序列x_(1 )，x_(2 )，.....，x_(n )，......，在M(x)或Y(x)滿足某些條件下均可以使得x_(n ) P/(n→∞) θ，此種逼近方法我們稱為隨機逼近法則(stochastic Approximation)。
在本文中，我們將討論M(x)或Y(x)在何種條件下均可導致x_(n ) P/(n→∞) θ
Robbins與Monro首先提出在(1)Y(x)有界；(2)M(x)≤α當x<θ，且M(x)≥α當x>θ；(3){a_n}為正數序列，滿足∑_(n=1)^∞▒〖a_n^2<∞〗，則關係式：X_(n+1)=X_n+a_n (α-y_n)
不管x_1如伺選取，必將使x_(n ) P/(n→∞) θ
Wolfowitz與Kiefer則將其推廣Y(x)不一定須有界而假設，|M(x)|<∞及∫_(-∞)^∞▒〖(y-M(x)〗)²dH(y|x)≤σ^2<∞，並假定{a_n}為正項序列滿足∑_(n=1)^∞▒〖a_n=∞〗，∑_(n=1)^∞▒〖a_n^2<∞〗，則利用收斂法則及謝比雪夫不等式(chebyshev's inequality)亦可證得x_(n ) P/(n→∞) θ
本文作者，則將M(x)與隨機變數x作討論目標，此時M(x)與Y(x)均不須一定要有界，而假設|M(x)|≤c+d|x|及加以一個條件E(x²)為有界，則利用收斂法則，我們仍能證得x_(n ) P/(n→∞) θ
在統計上，如果廻歸函數M(x)之極大值存在，則我們也常希望求得M(x)為極大時之解θ，現我們假設M(x)在x=θ夕時，有一極大值存在，且M(x)為未知函數，則若M(x)微分存在的話，必有M(θ)=0，於是我們可以根據此一性質及M(x)滿足其他條件下可得一隨機變數序列｛Z_n｝使其滿足Z_(n+1)=Z_n+a_n (y_2n-y_(2n-1))/C_n ，且C_n→0，∑▒〖a_n C_n<∞〗，∑▒a_n^2 C_n^(-2)<∞，∑▒〖a_n=∞〗，則必可得Z_(n ) P/(n→∞) θ
最後本文亦將根據上述的特性及BLUM所提的方法討論多值的逼近情形，卽假設
｛Y_x1^((1))，…..，x_k}，{Y_x1^((k) )，…….，x_k }為k個隨機變數，其分配函數分別為｛F_x1^((1))，…...，x_k}，……，｛F_x1^((k))，…...，x_k}且每一分配函數均為(x_1，…...，x_k)之函數，再令M^((i)) (x_1，…...，x_k) =∫_(-∞)^∞▒y dHF_x1^((i))，…...，x_k，i=1，2，......，k為其相對應的廻歸函數，若a_1，......，a_k為任意給定之k個實數值，則文中將利用向量的泰勒展式(Taylor's expansion)討論在何條件下，隨機變數序列｛x_n｝(x_n∈E_k)能逼近下式之解：M^((i))(x_1，......，x_n)=α_1 i=1，……，k
同時我們將以類似於wolfowitz與kiefer之討論方式討論多維的極大情形。
本文結構：
本文共分五章：
第一章：簡介Robbins及wolfowitz之逼近情形，並以實例加以驗證。
第二章：作者將政變M(x)及Y(x)之條件以探討其逼近情形。
第三章：我們將以wolfowitz及Kiefer的方法為主，討論在M(x)及Y(x)滿足某些條件下，逼近M(x)為極大值時之解的方法。
第四章：我們將同時討論多維的逼近法則及逼近M(x)極大值時之解的方法。
第五章：為前方各章的綜合比較。

1. Tom. M. Apostol “Mathematical Analysis” 2nd ed. California Institute of Technology P. P. 191〜192 ‘ 290〜292.
2. Kenneth Hoffman & Rey Kunze “Lenear Algebra” 2nd ed. P.P. 271〜276
3. Robert V. Hogg “Introduction to Mathematical statistics” 2nd P.P 54〜55，166〜169.
4. J.L. Doob “stochastic Process” John Willey & Sons, Inc P.P. 292〜390
5. Michel Loeve “Probability theory” D. Van Nostrand Company Inc. 3rd. P.P. 393〜397
6. H. Robbins and S. Monro “A stochastic appoximation method” Ann. Math. statistics. Vol. 22( 1951 ) P.P. 400〜407
7. J. wolfowitz “On the stochastic approximation method of Robbins and Monro” Ann. Math. Stat. Vol. 23 ( 1952 )
8. J. wolfowitz & J. Kiefer “Stochastic estimation of the maximum of a regression function “ Ann. Math. Stat. Vol. 23(1952)P.P. 462〜466
9. J. R. BLUM. Multi dimensional stochastic Approximation method” Ann. Math. Stat. Vol. 25( 1954) P.P. 734〜744
10. J. wolfowitz “On stochastic approximation method” Ann. Math. Stat. Vol. 27(1956)P.P. 1151〜1156