возводим обе части равенства в квадрат:

(x-1)^2 = 2x^2 - 3x - 5

x^2 - 2x + 1 = 2x^2 - 3x - 5

Переносим все с левой стороны равенства в правую сторону (при этом знаки меняются на противоположные) и "разворачиваем" для удобства равенство:

2x^2 - 3x - 5 - x^2 + 2x - 1 = 0

x^2 - x - 6 = 0

Дискриминант = b^2 - 4ac = 1 - 4*1*(-6) = 1+24 = 25

x1 = (-b+корень из дискриминанта) / 2а = (1+5)/2*1 = 3

х2 = (-b - корень из дискриминанта) / 2а = (1-5)/2*1 = -2