а2+4в2+2а+4в+2+4ав=4а+8в2+2+4ав=4а+16в+2+4ав=2(2а+8в+1+2ав) 

Если я правильно понял условие, то:

a^2+4b^2+2a+4b+2+4ab=a(a+4b)+4b(b+1)+2(a+1)=4a(b+0,25a)+2(2b(b+1)+(a+1))=2(2a(b+0,25a)+(2b(b+1)+(a+1)))

по идее наименьшее значение выражения будет равно 2 (т.к. подставляем а=0, b=0)  ну всё должно быть понятно, я всё расписал.