(x^2-2x-1)^2+3x^2-6x-13=0

(x^2-2x-1)^2+3(x^2-2x-1)-10=0

Делаем замену x^2-2x-1=t.

t^2+3t-10=0

По теореме Виета t = -5; 2.

Делаем обратную замену:

t = -5:

x^2-2x-1=-5

x^2-2x+4=0

D=4-4*4=-12<0 => корней нет

t = 2:

x^2-2x-1=2

x^2-2x-3=0

По теореме Виета x = -1; 3.

Ответ: x = -1; 3.