cos⁡(a ⃗,b ) =(a ⃗   b ⃗)/|a ⃗ ||b ⃗ | формула в учебнике есть
a ⃗   b ⃗=5*(-3)+(-12)*4=-63   
|a ⃗ |=√(5^2+(-12)^2 )=√169=13     √ знак корня
|b ⃗ |=√ [(-3)^2+4^2 ]= √ 25=5
cos⁡(a ⃗,b)=(-63)/(13*5)=-63/65