Для того, чтобы избавиться от корня возводим обе части в квадрат: и получаем х-3=(х-5)^2

х-3=x^2-10x+25

-x^2+10x+x-3-25=0

-x^2+11x-28=0

x^2-11x+28=0

D=121-112=9=3^2

x1=(11+3)/2=7

x2=(11-3)/2=4

проверка: 

х1=7

корень из 7-3=7-5

2=2(подходит)

х2=4

корень из 4-3=4-5

1=-1(не подходит)

Ответ:7

Скорее всего у вас вычислительные ошибки, потому что дискриминант получается целым числом.

Ваш ход мыслей правильный, такого типа уравнения решаются путем возведения и правой и левой части уравнения в квадрат. Теперь решим уравнение: