Multiplicadores de Lagrange

En los problemas de optimización, el método de los multiplicadores de Lagrange, llamados así en honor a Joseph Louis Lagrange, es un procedimiento para encontrar los máximos y mínimos de funciones de múltiples variables sujetas a restricciones. Este método reduce el problema restringido con n variables a uno sin restricciones de n + k variables, donde k es igual al número de restricciones, y cuyas ecuaciones pueden ser resueltas más fácilmente. Estas nuevas variables escalares desconocidas, una para cada restricción, son llamadas multiplicadores de Lagrange. El método dice que los puntos donde la función tiene un extremo condicionado con k restricciones, están entre los puntos estacionarios de una nueva función sin restricciones construida como una combinación lineal de la función y las funciones implicadas en las restricciones, cuyos coeficientes son los multiplicadores.

La demostración usa derivadas parciales y la regla de la cadena para funciones de varias variables. Se trata de extraer una función implícita de las restricciones, y encontrar las condiciones para que las derivadas parciales con respecto a las variables independientes de la función sean iguales a cero.

Consideremos un caso tridimensional. Supongamos que tenemos la función, f (x, y), y queremos maximizarla, estando sujeta a la condición:

donde c es una constante. Podemos visualizar las curvas de nivel de f dadas por

para varios valores de d_n, y el contorno de g dado por g(x, y) = c. Supongamos que hablamos de la curva de nivel donde g = c. Entonces, en general, las curvas de nivel de f y g serán distintas, y la curva g = c por lo general intersectará y cruzará muchos contornos de f. En general, moviéndose a través de la línea g=c podemos incrementar o disminuir el valor de f. Sólo cuando g=c (el contorno que estamos siguiendo) toca tangencialmente (no corta) una curva de nivel de f, no se incrementa o disminuye el valor de f. Esto ocurre en el extremo local restringido y en los puntos de inflexión restringidos de f.

Un ejemplo familiar puede ser obtenido de los mapas climatológicos, con sus curvas de nivel de presión y temperatura (isóbaras e isotermas respectivamente): el extremo restringido ocurrirá donde los mapas superpuestos muestren curvas que se tocan.

Geométricamente traducimos la condición de tangencia diciendo que los gradientes de f y g son vectores paralelos en el máximo. Introduciendo un nuevo escalar, λ, resolvemos

para λ ≠ 0.

Una vez determinados los valores de λ, volvemos al número original de variables y así continuamos encontrando el extremo de la nueva ecuación no restringida.

de forma tradicional. Eso es, ${displaystyle F(x,y)=f(x,y)}$ para todo (x, y) satisfaciendo la condición porque ${displaystyle g(x,y)-c}$ es igual a cero en la restricción, pero los ceros de ${displaystyle abla }$F(x, y) están todos en ${displaystyle g(x,y)=c}$.

Sea f (x) una función definida en un conjunto abierto n-dimensional {x ∈ Rⁿ}. Se definen s restricciones g_k (x) = 0, k=1,..., s, y se observa (si las restricciones son satisfechas) que:

${displaystyle h(mathbf {x} ,mathbf {lambda } )=f+sum _{k=1}^{s}lambda _{k}g_{k}}$

Se procede a buscar un extremo para h

lo que es equivalente a

Sea una superficie M contenida en Rⁿ definida por g(x)=0 y sea f(x) la función a obtener su punto crítico. Si p ${displaystyle in }$ M un punto crítico entonces se ha de cumplir:

para todo v vector tangente a M en p (es decir, sea cual sea la dirección en la que nos desplacemos en M, el incremento de f a primer orden es nulo) La anterior condición significa que ${displaystyle abla f}$ es perpendicular al tangente a M en p y dado que dim M=n-1 existe un único vector perpendicular linealmente independiente que viene dado por ${displaystyle abla g}$, de modo que se tiene:

para algún número ${displaystyle lambda }$

En el caso de que M esté definida por varias restricciones ${displaystyle g_{1},...,g_{k}}$ el conjunto de vectores perpendiculares al tangente a M en p viene generado por ${displaystyle abla g_{1}, abla g_{2},... abla g_{k}}$ de modo que al ser ${displaystyle abla f}$ perpendicular al vector tangente a M en p este ha de ser de la forma:

para unos ciertos números ${displaystyle lambda _{1},...,lambda _{k}}$

Los multiplicadores desconocidos λ_k se determinan a partir de las ecuaciones con las restricciones y conjuntamente se obtiene un extremo para h que al mismo tiempo satisface las restricciones (i.e. g_k=0), lo que implica que f ha sido optimizada

El método de multiplicadores de Lagrange es generalizado por las condiciones de Karush-Kuhn-Tucker.

Supongamos que queremos encontrar la distribución probabilística discreta con máxima entropía. Entonces

Podemos usar los multiplicadores de Lagrange para encontrar el punto de máxima entropía (dependiendo de las probabilidades). Para todo k desde 1 hasta n, necesitamos

lo que nos da

Derivando estas n ecuaciones, obtenemos

Esto muestra que todo p_i es igual (debido a que depende solamente de λ). Usando la restricción ∑_k p_k = 1, encontramos

Esta (la distribución uniforme discreta) es la distribución con la mayor entropía.

Determinar los puntos en la esfera ${displaystyle x^{2}+y^{2}+z^{2}=4}$ que están más cercanos al punto ${displaystyle (3,1,-1)}$

la distancia al punto ${displaystyle (3,1,-1)}$:

${displaystyle d={sqrt {(x-3)^{2}+(y-1)^{2}+(z+1)^{2}}}}$

para hacer más sencilla la operación se maximiza o minimiza el cuadrado de la distancia:

${displaystyle d^{2}=f(x,y,z)={(x-3)^{2}+(y-1)^{2}+(z+1)^{2}}}$

la restricción: ${displaystyle g(x,y,z)=x^{2}+y^{2}+z^{2}=4}$

De acuerdo con el método de los multiplicadores de Lagrange, se resuelven las ecuaciones " ${displaystyle igtriangledown f=lambda igtriangledown g}$ " y "${displaystyle g=4}$" y el resultado es:

la manera más sencilla de resolver estas ecuaciones es dejar x, y, z en función de ${displaystyle lambda }$ y luego sustituimos en la ecuación (4).

En primer lugar se observa que ${displaystyle lambda }$ ≠ 1 porque si ${displaystyle lambda =1}$ obtenemos un resultado absurdo en la ecuación (1). Ahora, de la ecuación (1) obtenemos ${displaystyle x={frac {3}{1-lambda }}}$

y lo mismo sucede con las ecuaciones (2) y (3):

${displaystyle y={frac {1}{1-lambda }}}$

${displaystyle z=-{frac {1}{1-lambda }}}$.

Sustituyendo en la ecuación (4)

${displaystyle left({frac {3}{1-lambda }} ight)^{2}+left({frac {1}{1-lambda }} ight)^{2}+left(-{frac {1}{1-lambda }} ight)^{2}=4}$

se obtiene que ${displaystyle lambda =1pm {frac {sqrt {11}}{2}}}$

y entonces los puntos (x, y, z) son :

${displaystyle ({frac {6}{sqrt {11}}},{frac {2}{sqrt {11}}},-{frac {2}{sqrt {11}}})}$ y ${displaystyle (-{frac {6}{sqrt {11}}},-{frac {2}{sqrt {11}}},{frac {2}{sqrt {11}}})}$

Uno de ellos es el más lejano (máximo de la función), y se puede observar que el punto más cercano es ${displaystyle ({frac {6}{sqrt {11}}},{frac {2}{sqrt {11}}},-{frac {2}{sqrt {11}}})}$

${displaystyle f(x,y,z)=yz+xy}$

Restricciones:
${displaystyle xy=1}$

${displaystyle y^{2}+z^{2}=1}$

Aplicar el método: ${displaystyle {overrightarrow { abla }}f=lambda {overrightarrow { abla }}g+mu {overrightarrow { abla }}h}$

${displaystyle {overrightarrow { abla }}f=(y,z+x,y)}$

${displaystyle {overrightarrow { abla }}g=(y,x,0)}$

${displaystyle {overrightarrow { abla }}h=(0,2y,2z)}$

Entonces:

${displaystyle y=lambda y}$

${displaystyle z+x=xlambda +2mu y}$

${displaystyle y=2mu z}$

${displaystyle xy=1}$

${displaystyle y^{2}+z^{2}=1}$

${displaystyle x eq 0}$

${displaystyle y eq 0}$

${displaystyle lambda =1}$

${displaystyle z+x=x+2mu y}$

${displaystyle z=2mu y}$

${displaystyle y=4mu ^{2}y}$

${displaystyle mu =pm {frac {1}{2}}}$

${displaystyle y=pm z}$

${displaystyle 2y^{2}=1}$

Por lo tanto, los puntos críticos son:

${displaystyle (x,y,z)=({sqrt {2}},{frac {1}{sqrt {2}}},{frac {1}{sqrt {2}}})}$

${displaystyle (x,y,z)=({sqrt {2}},{frac {1}{sqrt {2}}},{frac {-1}{sqrt {2}}})}$

${displaystyle (x,y,z)=(-{sqrt {2}},{frac {-1}{sqrt {2}}},{frac {1}{sqrt {2}}})}$

${displaystyle (x,y,z)=(-{sqrt {2}},{frac {-1}{sqrt {2}}},{frac {-1}{sqrt {2}}})}$

Bastará entonces evaluar la función en esos puntos para determinar que:

${displaystyle f({sqrt {2}},{frac {1}{sqrt {2}}},{frac {1}{sqrt {2}}})=f(-{sqrt {2}},{frac {-1}{sqrt {2}}},{frac {-1}{sqrt {2}}})={frac {3}{2}}}$

${displaystyle f({sqrt {2}},{frac {1}{sqrt {2}}},{frac {-1}{sqrt {2}}})=f(-{sqrt {2}},{frac {-1}{sqrt {2}}},{frac {1}{sqrt {2}}})={frac {1}{2}}}$

por lo que en ambos puntos ${displaystyle f}$ tiene un máximo en ${displaystyle (x,y,z)=(pm {sqrt {2}},{frac {pm 1}{sqrt {2}}},{frac {pm 1}{sqrt {2}}})}$ y un mínimo en ${displaystyle (x,y,z)=(pm {sqrt {2}},{frac {pm 1}{sqrt {2}}},{frac {mp 1}{sqrt {2}}})}$ si está restringida de esta manera.

Como en el caso no restringido en el que usamos la matriz Hessiana y el criterio de Sylvester para determinar la naturaleza de los puntos críticos, en presencia de multiplicadores de Lagrange existe un método análogo para descubrir si un punto crítico v₀ es máximo, mínimo, o punto silla.

Sean f:U⊂ℝ²→ℝ y g:U⊂ℝ²→ℝ dos curvas suaves de clase C². Sea v₀∈U tal que g(v₀)= c y sea S el conjunto de nivel de g con valor c. Asumimos que ${displaystyle abla }$g(v₀)≠0 y existe un número real ${displaystyle lambda }$ tal que ${displaystyle abla }$f(v₀) = ${displaystyle lambda abla }$g(v₀). Para la función auxiliar h = f - ${displaystyle lambda }$g tenemos la matriz hessiana limitada:

Análogamente al caso bidimensional, consideramos el caso n-dimensional, Sea f:U⊂ℝⁿ→ℝ y g:U⊂ℝⁿ→ℝ dos curvas suaves de clase C². Sea v₀∈U tal que g(v₀)= c y sea S elconjunto de nivel de g con valor c. Asumimos que ${displaystyle abla }$g(v₀)≠0 y existe un número real ${displaystyle lambda }$ tal que ${displaystyle abla }$f(v₀) = ${displaystyle lambda abla }$g(v₀). Para la función auxiliar h = f - ${displaystyle lambda }$g construimos la matriz hessiana limitada:

Examinamos los determinantes de las submatrices en la diagonal de orden mayor o igual a 3:

---