Ответ:

x₁=-1; x₂=5,   x₃,₄=1±2√2

Пошаговое объяснение:

Это уравнение 4-ой степени которое можно решить обычным разложением на множители после нахождения пары корней методом угадывания. Но это долго и не всегда эффективно

Это уравнение вида f(f(x))=x, которое равносильно уравнению f(x)=x, при условии что функция f(x) монотонно возрастает. Но это не так.

И всё же. Корни уравнения f(x)=x при любом f(x) являются корнями уравнения f(f(x))=x.

Док-во.

Пусть x₀ корень уравнения f(x)=x. Тогда f(x₀)=x₀

f(f(x₀))=f(x₀)=x₀

Значит x₀ также и корень уравнения f(f(x))=x.

Это всё теория. Переходим к решению.

Рассмотрим функцию f(x)=x² - 3x - 5(парабола, нет условия монотонного возрастания)

f(f(x))=(f(x))² - 3(f(x)) - 5=(x² - 3x - 5)² - 3(x² - 3x - 5) - 5

f(f(x))=x

Находим корни уравнения f(x)=x

x² - 3x - 5=x

x² - 4x - 5=0

D=36

x=2±3

x₁=-1; x₂=5

После нахождения пары корней уравнения 4-ой степени не сложно найти и остальные.

(x² - 3x - 5)² - 3(x² - 3x - 5) - 5 = x

x⁴+9x²+25-6x³-10x²+30x-3x²+9x+15-5-x=0

x⁴-6x³+9x²-10x²-3x²+30x-x+9x+15-5+25=0

x⁴-6x³-4x²+38x+35=0

x⁴-6x³-4x²+38x+35=(x²-4x-5)P(x)

x⁴-6x³-4x²+38x+35=(x⁴-4x³-5x²)-(2x³-8x²-10x)-(7x²-28x-35)=

=x²(x²-4x-5)-2x(x²-4x-5)-7(x²-4x-5)=(x²-4x-5)(x²-2x-7)

(x²-4x-5)(x²-2x-7)=0

x₁=-1; x₂=5

x²-2x-7=0

x₃,₄=(2±4√2)/2=1±2√2