Чтобы найти косинус угла между векторами нужно, скалярное произведение этих векторов разделить на произведение их длин.

Находим длины (модули) векторов

|a| = √(1² + 2² + 0²) = √5,

|b| = √(3² + 1² + 1²) = √11.

cos (a_b) = |1*3+2*1+0*1|/(√5*√11) = 5/√55 = √55/11.