Выражаем х с первого уравнения:

х=3+у

х^2-у^2=5

Подставляем наш х во второе уравнение:

(3+у)^2-у^2=5

Решив его получаем у=-2/3

Теперь считаем х

х=3-2/3=7/3

Поскольку Вам а ответе надо написать произведение корней считаем:

-2/3*7/3=-14/9