(x^2-5x)(x+3)(x-8)+108=0   х(x-5)(x+3)(x-8)=-108=-2*2*3*3*3

методом подбора находим х=-1. Далее можно делить многочлен из левой части уголком на х+1.

Или по-другому

  (x^2-5x)( x^2-5x -24)+108=0  введем замену переменной  x^2-5x=у, тогда

у(у-24)+108=0  у^2 -24y+108=0   у1=6, у2=18 

 x^2-5x-6=0   или   x^2-5x-18=0,

х1=-1, х2=6, х3=(5-sqrt(97))/2 , x4=  (5+sqrt(97))/2 /