m11m cos² 5x +  7sin² 5x -  8sin5x cos5x =       0       
cos² 5x       cos² 5x         cos² 5x          cos² 5x
1 + 7tg² 5x - 8tg 5x =0
Замена tg 5x =y
7y² -8y +1=0
D=64 -28 =36
y₁ = 8-6 = 2/14 = 1/7
        14
y₂ = 8+6 = 1
         14

При у= 1/7
tg 5x=1/7
5x= arctg 1/7 + πk,  k∈Z
x= 0.2 arctg1/7 + 0.2πk , k∈Z

При у=1
tg 5x=1
5x= π/4 + πk, k∈Z
x= π/20 + 0.2πk, k∈Z

Ответ: 0,2arctg 1/7 + 0.2πk,  k∈Z;
             π/20 + 0.2πk, k∈Z