[tex]\begin{cases} x^2-xy=40\\ y^2-xy=60\end{cases}[/tex]

Левые части разложим на множители:

[tex]\begin{cases} x(x-y)=40\\ y(y-x)=60\end{cases}[/tex]

Разделим почленно второе уравнение на первое:

[tex]\dfrac{y(y-x)}{x(x-y)} =\dfrac{60}{40}[/tex]

[tex]-\dfrac{y(x-y)}{x(x-y)} =\dfrac{3}{2}[/tex]

[tex]\dfrac{y}{x} =-1.5[/tex]

Выразим у:

[tex]y=-1.5x[/tex]

Подставим в первое уравнение системы:

[tex]x^2-x\cdot(-1.5x)=40[/tex]

[tex]x^2+1.5x^2=40[/tex]

[tex]2.5x^2=40[/tex]

[tex]x^2=16[/tex]

[tex]x_1=4 \Rightarrow y_1=-1.5\cdot4=-6[/tex]

[tex]x_2=-4 \Rightarrow y_2=-1.5\cdot(-4)=6[/tex]

Ответ: (4; -6); (-4; 6)