Формула косинуса двойного угла:

[tex]\cos2\alpha =\cos^2\alpha -\sin^2\alpha[/tex]

Рассмотрим уравнение:

[tex]\cos^2 2x-\sin^2 2x + \cos3x=5[/tex]

В левой части применим формулу косинуса двойного угла:

[tex]\cos4x+ \cos3x=5[/tex]

Вспомним, что косинус принимает свои значениях из отрезка от -1 до 1. То есть:

[tex]-1\leqslant \cos 4x\leqslant 1[/tex]

[tex]-1\leqslant \cos 3x\leqslant 1[/tex]

Сложим почленно эти неравенства:

[tex]-1-1\leqslant \cos 4x+\cos3x\leqslant 1+1[/tex]

[tex]-2\leqslant \cos 4x+\cos3x\leqslant 2[/tex]

Таким образом, левая часть уравнения может принимать значение из отрезка от -2 до 2, соответственно она не может принимать значение 5. Значит, уравнение не имеет корней.