Раскроем скобки

(a-b)(а+2b)=a²+2ba-ba-2b²=a²+ba-2b²

По определению скалярного произведения

a²+ba-2b²=|a|² +|b|*|a|*cos 60 - 2*|b|² = 1² + 1*1*(1/2) - 2*1²=1+1/2-2=-1/2= -0,5