Первое уравнение разложим на множители как квадрат суммы:

(x+3y)^2=16

Извлечём корень квадратный из обеих частей равности:

x+3y=+-4

Имеем два варианта. Сначала рассмотрим +:

x+3y=4

x-3y=-2

Сложим два уравнения:

2x=2

x=1

y=1

Второй вариант (-):

x+3y=-4

x-3y=-2

2x=-6

x=-3

y=-1/3

{ x^2 + 6xy + 9y^2 = 16

{ x - 3y = -2

x^2 + 6xy + 9y^2 = 16

(x + 3y)^2 = 16

[ x + 3y = 4

[ x + 3y = -4

Добавим к каждому элементу совокупности (x - 3y = 2):

[ x + 3y + x - 3y = 4 - 2

[ x + 3y + x - 3y = -4 - 2

[ 2x = 2

[ 2x = -6

[ x = 1

[ x = -3

Из второго элемента исходной системы получаем:

y = (x + 2) / 3

Следовательно:

[ { x = 1

 { y = 1

[ { x = -3

 { y = -1/3

Ответ: (1; 1) и (-3; -1/3).