Надеюсь, нигде не ошибся, задача довольно хорошего уровня сложности :)

Sпол = 2ab+(2a+2b)h

a/b = 2/3 => b = 3/2 * a
V=abh => h = V/ab

Sпол=2a*3/2*a+(2a +2*3/2*a)*V/(a*3/2*a) = 3a^2+5a*2V/3a^2 = 3a^2+10V/3a

Берем производную: (Sпол)'=6a-10V/9a^2=6a-5760/9a^2=6a-640/a^2
Приравниваем производную к нулю: 6a-640/a^2=0
(6a^3-640)/a^2=0
(3a^3-320)/a^2=0
Ищем стационарные точки: 3a^3-320=0
3a^3=320
a^3=320/3
a=4куб.корень(5/3)

Ищем критические точки: a^2=0; a=0

Отмечаем эти точки на числовой прямой и определеям, где функция убывает, где возрастает (ищем точки экстремума)
                -                                             +
-----(0)------------(4куб.кор(5/3))------------> 
              убывает                               возрастает 

Значит a=4куб.кор(5/3) - точка минимума, значит, поверхность с этой стороной будет наименьшей.

b = 3/2 * 4куб. кор(5/3) = 6куб.кор(5/3)

h=576/24куб.кор(25/9)=24/куб.кор(25/9)=24куб.кор(5/3)/(5/3)=72куб.кор(5/3)/5

Ответ: a=4куб.корень(5/3), b=6куб.кор(5/3), h=72куб.кор(5/3)/5