Дробь принимает наибольшее значение, если знаменатель принимает наименьшее, значит, 5+(3m-8)^2 должен быть наименьшим.

Так как (3m-8)^2 - число неотрицательное, то его наименьшее значение будет 0. Значит, если (3m-8)^2=0, то дробь принимает наименьшее значение:

(3m-8)^2=0
3m-8=0
3m=8
m=8/3