Формулы синуса и косинуса двойного угла:

[tex]\sin2\alpha =2\sin\alpha \cos\alpha[/tex]

[tex]\cos2\alpha =\cos^2\alpha -\sin^2\alpha[/tex]

Рассмотрим уравнение:

[tex]5\sin2x-6\sin x\cos x + \cos2 x = 0[/tex]

[tex]5\cdot2\sin x\cos x-6\sin x\cos x + \cos^2 x-\sin^2x = 0[/tex]

[tex]10\sin x\cos x-6\sin x\cos x + \cos^2 x-\sin^2x = 0[/tex]

[tex]4\sin x\cos x + \cos^2 x-\sin^2x = 0[/tex]

[tex]\sin^2x-4\sin x\cos x - \cos^2 x = 0[/tex]

Разделим обе части уравнения на [tex]\cos^2x\neq 0[/tex]:

[tex]\mathrm{tg}^2\,x-4\,\mathrm{tg}\,x - 1 = 0[/tex]

Решим квадратное уравнение относительно тангенса:

[tex]D_1=(-2)^2-1\cdot(-1)=5[/tex]

[tex]\mathrm{tg}\,x=2\pm\sqrt{5} \Rightarrow x=\mathrm{arctg}\,(2\pm\sqrt{5})+\pi n,\ n\in\mathbb{Z}[/tex]

Ответ: [tex]\mathrm{arctg}\,(2\pm\sqrt{5})+\pi n,\ n\in\mathbb{Z}[/tex]