Probability methods for approximations in stochastic control and for elliptic equations. (English) Zbl 0547.93076

Kushner, Harold J.

Mathematics in Science and Engineering, Vol. 129. New York-London: Academic Press (Harcourt Brace Jovanovich, Publishers). XVII, 243 p. (1977).

L’objet du présent livre est d’étudier les méthodes probabilistes d’approximation des diffusions, de leurs potentiels, ou des fonctions coûts de problèmes d’optimisation relatifs à ces diffusions. Pour chaque problème, l’A. définit une approximation adéquate de la diffusion par un processus constant sur des intervalles aléatoires. Un argument de compacité dans un espace de mesures permet de démontrer la convergence en loi de l’approximation vers la diffusion. Il démontre ensuite la convergence des potentiels de l’approximation vers les potentiels de la diffusion. Pour approcher un problème d’optimisation sur une diffusion, il définit une suite de problèmes d’optimisation relatifs aux processus approchant la diffusion, et il démontre la convergence de la fonction coût du problème approché vers la fonction coût du problème initial.
Dans le chapitre 1 (”Probability background”) et le Chapitre 2 (”Weak convergence of probability measures”), l’A. rappelle les définitions essentielles sur les processus de Markov, les martingales et les diffusions, ainsi que les résultats principaux de compacité de mesures définies sur des espaces de processus à valeurs dans \(R^ n\). Dans le Chapitre 3 (”Markov chains and control problems with Markov chain models”), il applique les méthodes de la programmation dynamique à des problèmes d’optimisation sur des chaînes de Markov à temps discret. Il étudie ainsi les problèmes d’arrêt optimal, de contrôle optimal, des problèmes mixtes de contrôle avec arrêt optimal, et de contrôle impulsionnel.
Dans le Chapitre 4 (”Elliptic and parabolic equations and functionals of diffusions”), l’A. rappelle les principaux résultats concernant les équations aux dérivées partielles associées aux diffusions, et écrit les équations aux dérivées partielles formelles satisfaites par les fonctions coûts des mêmes problèmes d’optimisation qu’au Chapitre 3. Aux Chapitres 5 (”A simple application of the invariance theorems”) et 6 (”Elliptic equations and uncontrolled diffusions”), on montre la convergence d’un schéma d’approximation d’une diffusion homogène par une suite de processus constants sur des intervalles aléatoires, ainsi que la convergence des potentiels.
Au chapitre 7 (”Approximations for parabolic equations and nonlinear filtering problems”), on étudie l’approximation des diffusions non homogènes et l’approximation des problèmes de filtrage. Au chapitre 8 (”Optimal stopping and impulsive control problems, on étudie l’approximation du problème d’arrêt optimal sur une diffusion, et l’approximation du problème de contrôle impulsionnel. Au Chapitre 9 (”Approximations to optimal controls and nonlinear partial differential equations”), l’A. examine les problèmes du Chapitre 8 pour les diffusions contrôlées. Le livre se termine par les Chapitres 10 (”Approximations to stochastic delay equations and to diffusions and partial differential equations with reflecting boundaries) et le Chapitre 11 (”The separation theorem of optimal stochastic control theory”).”

MSC:

93E20	Optimal stochastic control
93-01	Introductory exposition (textbooks, tutorial papers, etc.) pertaining to systems and control theory
60J60	Diffusion processes
49J55	Existence of optimal solutions to problems involving randomness
49K45	Optimality conditions for problems involving randomness
60G40	Stopping times; optimal stopping problems; gambling theory
62L15	Optimal stopping in statistics
62L20	Stochastic approximation
65C99	Probabilistic methods, stochastic differential equations
62M20	Inference from stochastic processes and prediction
93E11	Filtering in stochastic control theory
35J15	Second-order elliptic equations

Keywords:

nonlinear filtering; impulsive control problems; stochastic delay equations; reflecting boundaries