Можно так:
5M^2 + 6MH + 2H^2 = (4M^2 + 4MH + H^2) + (M^2 + 2MH + H^2) =
= (2M + H)^2 + (M + H)^2 

Учитывая, что М + Н = 1, получим (М + 1)^2 + 1
Значение этого выражения будет наименьшим, если М + 1 = 0, а значит, М = -1.
Тогда Н = 1- (-1) = 2

Таким образом, данное выражение принимает наименьшее значение 
при М = -1, Н = 2