По формуле  тригонометрии складываем первые два слагаемых, а третье раскладываем как двойной угол

2cos5x*cos 3x-соs^2 3x+ sin^2 3x-sin^2 3x-cos^2 3x=0

-cos^2 3x+2 cos 5x*cos 3x=0

соs^2 3x (2 cos 5x-cos 3x)=0

cos^2 3x = 0           2cos 5x-cos 3x=0

3x=П/2+Пn             -4sin 4x*sin x=0

x= П/6+Пn/3            sin 4x*sin x=0

                                  sin 4x=0             sin x=0

                                    4x=Пn               x=Пn

                                     x=Пn/4