выражаем из второго х

х=5+3у    Подставляем в 1-ое:

(5+3у)^2-2у(5+3у)-у^2=7

25+30у-9у^2-10у-6у^2-y^2=7

-9y^2-6y^2-y^2=7-25-30y-10y

-16y^2=-18-40y

-16y^2+40y+18=0   |  :(-4)

4y^2-10y-4.5=0

корень = 2,8

подставляем :

х=5-8,4=-3,4