Сначала хотел решить подстановкой, но это как-то слишком тяжело получается. Не думаю, что нужно решать именно ей, поэтому попытался разложить уравнение, и в целом получилось. По шагам распишу

[tex]x^4+x^3-8x^2+3x+5=0[/tex]

Расписываем [tex]x^3[/tex] как  [tex]-x^3+2x^3[/tex], [tex]-8x^2[/tex] как [tex]-x^2-2x^2-5x^2[/tex] и [tex]3x[/tex] как [tex]-2x+5x[/tex]. Получаем

[tex]x^4-x^3+2x^3-x^2-2x^2-5x^2-2x+5x+5=0[/tex]

Немного переставлю местами для удобства:

[tex]x^4-x^3-x^2+2x^3-2x^2-2x-5x^2+5x+5=0[/tex]

Теперь выносим общие множители:

[tex]x^2(x^2-x-1)+2x(x^2-x-1)-5(x^2-x-1)=0[/tex]

Выносим [tex](x^2-x-1)[/tex]:

[tex](x^2-x-1)(x^2+2x-5)=0[/tex]

Произведение равно 0, когда 1 из множителей равен 0, следовательно нужно решить 2 квадратных уравнения

[tex]x^2-x-1=0[/tex] или [tex]x^2+2x-5=0[/tex]

Решаем первое:

[tex]x^2-x-1=0\\\\D=(-1)^2-4\times(-1)=1+4=5=\sqrt{5} ^2\\\\x_{1,2}=\dfrac{1\pm\sqrt{5} }{2} =\bigg[^\bigg{\dfrac{1+\sqrt{5} }{2}}_\bigg{\dfrac{1-\sqrt{5} }{2} }[/tex]

Решаем второе:

[tex]x^2+2x-5=0\\D=2^2-4\times(-5)=4+20=24=4\times6=(2\sqrt{6} )^2\\\\x_{3,4}=\dfrac{-2\pm2\sqrt{6} }{2} =\bigg[^\bigg{\dfrac{-2+2\sqrt{6} }{2}=-1+\sqrt{6} }_\bigg{\dfrac{-2-2\sqrt{6} }{2} =-1-\sqrt{6} }[/tex]

Ответ:

[tex]\displaystyle x_1=\frac{1+\sqrt{5} }{2} ;x_2=\frac{1-\sqrt{5} }{2} ;x_3=-1+\sqrt{6} ;x_4=-1-\sqrt{6}[/tex]