0% found this document useful (0 votes)
100 views

Single Variable Optimization

This document discusses single variable optimization and how to find the local optima of functions. It defines local maxima and minima, and introduces stationary and critical points. It states that a local optimum must occur at a stationary or critical point. The document provides examples and outlines the process to identify all local optima of a function: [1] take the derivative, [2] find stationary/critical points, [3] create a table of variations to study the derivative around these points, and [4] conclude if each point is a maximum, minimum or neither based on the first derivative test.

Uploaded by

Shruti Halder
Copyright
© © All Rights Reserved
Available Formats
Download as PDF, TXT or read online on Scribd
0% found this document useful (0 votes)
100 views

Single Variable Optimization

This document discusses single variable optimization and how to find the local optima of functions. It defines local maxima and minima, and introduces stationary and critical points. It states that a local optimum must occur at a stationary or critical point. The document provides examples and outlines the process to identify all local optima of a function: [1] take the derivative, [2] find stationary/critical points, [3] create a table of variations to study the derivative around these points, and [4] conclude if each point is a maximum, minimum or neither based on the first derivative test.

Uploaded by

Shruti Halder
Copyright
© © All Rights Reserved
Available Formats
Download as PDF, TXT or read online on Scribd
You are on page 1/ 8

 

 
SINGLE VARIABLE OPTIMIZATION 

Summary
1.  Local optimum of a function ................................................................................................... 1 
1.1.  Local maximum ................................................................................................................ 1 
1.2.  Local minimum ................................................................................................................ 1 
1.3.  Stationary points and critical points ................................................................................ 2 
1.4.  Search for a local optimum ............................................................................................. 3 
 

1. Local optimum of a function

1.1. Local maximum

Consider a function  . The point  ∗  is called local maximum if and only if there is  , 


an open interval containing ∗ , such that  ∗  for all   in . 

1.2. Local minimum

Given a function  . The point  ∗  is called a local minimum if and only if there is , an 


open interval containing ∗ , such that  ∗  for all   in . 

Example  

The  following  graph  presents  a  function  that  has  a  local  maximum  as  well  as  a  local 
minimum.   

Page 1 of 8 
 
 

A  local  maximum  is  found  at  the  point  1  since  there  is  an  open  interval  1 
containing  1 on which  1  for all   in 1. 

A  local  minimum  is  found  at  the  point  2  since  there  is  an  open  interval  2 
containing  2 on which  2  for all   in 2. 

1.3. Stationary points and critical points

In  economics,  production  strategies  of  a  company  are  determined  according  to 
objectives sought out by the company. Sometimes we want to minimize the costs, but 
usually,  we  want  to  maximize  profits.  Whatever  the  situation,  we  are  particularly 
interested in optimal values (maximum or minimum)…  

Let us consider the graph of the following functions, identified   and . Each has 


a local minimum. What can we see at these points ?  

 
 

We must first notice that both functions cease to decrease and begin to increase at the 
minimum point (x = 0). However, this transition is not made in the same manner for 
both. The function   goes from decreasing to increasing progressively and at the 
minimum point, the slope is zero. For  , the passage from decreasing to increasing is 
abrupt, such that the slope is not defined at the minimum. These two types of optima 
are identified below: 

   

Page 2 of 8 
 
 

Definition : Stationary point  

Consider  a  continuous  function ,  differentiable  at ∗ .  The  point  ∗   is 


called a stationary point if the derivative of   is zero at that point, i.e. if ′ ∗ 0. 

Example  

2 2 1 → ′ 2 2  

The derivative of f is zero when   

2 2 0 → 2 2 → 1  

1 is therefore a stationary point of the function . 

Definition : Critical point  

Given a function  , well defined at  ∗ . The point  ∗


 is called critical point 
if the derivative of   does not exist at that point. 

Example  

/
2 /
2
→ ′
/
 
3 3

The  derivative  of  does  not  exist  when  0  since  the  denominator  then  takes  the 
value 0.  0 is therefore a critical point of . 

1.4. Search for a local optimum

Theorem 

Given a function of ,   defined on an open interval . A local optimum of  is 


either a stationary point or a critical point. 

What the previous theorem claims is that it is useless to search anywhere else but at the 
stationary and critical points when looking for  a local optimum. Pay attention though! 
The theorem does not state that all stationary or critical point are local optima... Once 
the  stationary  and  critical  points  are  found,  you  must  determine  the  nature  of  these 
points to know if they are minima, maxima or neither. 

   

Page 3 of 8 
 
 

Study of a stationary or critical point using the first derivative 

Let us revisit the graphical example that we presented above. The functions   et 
 both have a local minimum at 0.

The  point  0  is  a  stationary  point  of  function .  However,  0  is  a  critical 
point of function  . Nonetheless, a common phenomenon occurs in both cases: the 
derivative changes sign at the minimum point. The study of the first derivative allows us 
to determine the nature of a stationary or critical point. 

The first derivative rule   


Given the function   and   a stationary or critical point of the function.  


is : 

 a local minimum if the derivative goes from negative to positive at ∗ . 

 a local maximum if the derivative goes from positive to negative at ∗ . 

Methodology : identification of all the local optima of a function    

1. Carry out the first derivative of   ;  
2. Find all stationary and critical points ;  
3. Draw a table of variations to study the derivative around stationary and critical 
points ;  
4. Conclude.  

   

Page 4 of 8 
 
 

Example 1 

Find all local optima of the function 2 3 12 4. 

1. Calculate the first derivative of   : 


6 6 12 6 2  

2. Find all stationary and critical points  

We obtain a stationary point when ′ 0.  

6 2 0 

2 0 

1 2 0→ 1, 2 

There  are  therefore  two  stationary  points  ( 1,  2).  There  are 
however, no critical points since the derivative is well defined for all . 

3. Draw a table of variations to study the derivative around stationary and critical 
points :  

A table of variations must contain  

 all stationary and critical   
 the value of the function at stationary and critical points  
 the intervals between and around the stationary and critical points   
 the sign of the derivative in these intervals   

     2 2 
    11    ‐16   
′   +  0  ‐  0  + 
   Increasing  Local  Decreasing  Local  Increasing 
max  min 
4. Conclude  

At point 1, we see that the derivative goes from positive to negative. In 
accordance  with  the  first  derivative  rule,  1 11  is  a  local  maximum.  At 
point 2,  we  observe  that  the  derivative  goes  from  negative  to  positive. 
According to the first derivative rule,  2 16 is a local minimum. 

Page 5 of 8 
 
 

Example 2 
Find all local optima of the function  1    

1. Calculate the first derivative of   : 



. 1  +  . 1 ′     (product rule)  

1
. 1 . 1 
3
1
 
3
.
                                (common denominator) 
1 3
 
3
1 4
 
3

2. Find all stationary and critical points : 

We obtain a stationary point when  ′ 0.  

This is obtained when the numerator is zero: 1 4 0.  

Therefore,  1/4 0,25 is a stationary point. 

A critical point is obtained when  ′  is not defined. Since the denominator is 
zero when 0, this is a critical point. 

   

Page 6 of 8 
 
 

3. Draw a table of variations to study the derivative around stationary and critical 
points :  

  /   / / 0   0
    ‐0,4725    0   
′   ‐  0  +  non  + 
définie 
  Decreasing  Local  Increasing   Neither  Increa‐
min  min nor  sing 
max 
Conclusion: 
At  the  point 1/4,  we  observe  that  the  derivative  goes  from 
negative to positive. According to the first derivative rule,  
1/4 0,4725 is a local minimum. 

At point 0, the derivative does not change signs. This critical point is 
thus neither a local minimum nor a local maximum. 

Here is the graph of  . 1  :  

Observe the abrupt change in direction at  0 (critical point) where the function does 
not however cease to grow (we have neither a minimum nor a maximum). 

   

Page 7 of 8 
 
 

Exercise  

For  the  following  functions,  find  all  stationary  and  critical  points,  draw  a  table  of 
variations  and  determine  where  the  local  minima  and  maxima  are  found.  Using  Excel, 
trace the graph of each function to confirm your results. 

a.  
b. ln 1  
c.  

Page 8 of 8 
 

You might also like