воспользуюсь скалярным произведением

1) в координатах

если заданы 2 вектора c(x1;y1);d(x2;y2), то их скалярное произведение

c*d=x1*x2+y1*y2

a*b=(-2)*12+6*0+3*5=-24+15=-9

2)через длину векторов и угол между ними

c*d=|c|*|d|*cos(c,d)

/с/^2=x1^2+y1^2

|a|^2=(-2)^2+6^2+3^2=4+36+9=49

|a|=7

|b|^2=12^2+0+5^2=169

|b|=13

a*b=-9=7*13*cos(a.b)

cos(a,b)=-9/91

минус показывает, что угол тупой