adik61 Вспомним то что 
|cos α|≤1
здесь у нас произведение двух cos
если один из них будет по модулю меньше 1, то другой должен быть больше 1 
объясню на примере 
если  один из cos=1/2 то другой должен быть -2, чего быть не может
значит это уравнение равносильно системе 
cos(π√(x+1))=1
cos(π√(x-4))=-1

π√(x+1)=2πn
π√(x-4)=π+2πk
(n∈Z)

√(x+1)=2n
√(x-4)=1+2n

2n≥0
x+1=4n²
2n+1≥0
x-4=1+4n²+4n

n≥0
x=4n²-1
n≥0 (по выше заданному ограничению)
x=4n²+4n+5

а т.к. x равны
x=4n²-1=4n²+4n+5
2n²-2n²+2n-3=0
2n=3
легко заметить что это не выполняется

теперь рассмотрим второй случай  
cos(π√(x+1))=-1
cos(π√(x-4))=1
решив аналогично 1ому случаю мы получим
n≥0
x=4n²+4n
x=4n²+4
приравняем 
n²+n=n²+1
n=1
подставим n в x=4n²+4
и получим что
x=8