"Под большой скобкой в начале" - это называется "система уравнений".

Из второго уравнения выражаем у.

y=3x-3

Подставляем в первое уравнение, решаем его.

D = 9+4*14*5 = 289

x = 2 или x= -1,4

Решение системы:

или