Я решил начать с преобразования первого уравнения. Разложу на множители и рассмотрю два случая

[tex]3y^2+5xy-2x^2-17y-6x+20=0\\3y^2-xy+5xy-2x^2-12y-5y+4x-10x+20=0\\-2x^2-xy+4x+6xy+3y^2-12y-10x-5y+20=0\\-x(2x+y-4)+3y(2x+y-4)-5(2x+y-4=0)\\(2x+y-4)(-x+3y-5)=0[/tex]

Я не стал сразу рассматривать два случая и подставлять во второе уравнение, а то арифметики было бы ужасно много. После преобразования первого уравнения, я преобразовал второе

[tex]10y^2-2xy+5x^2-38y-6x+41=0\\10y^2+10y\left ( -\frac{1}{5}x-\frac{19}{5} \right )+41-6x+5x^2=0\\10\left ( y-\frac{1}{10}x-\frac{19}{10} \right )^2-10\left ( -\frac{1}{10}x-\frac{19}{10} \right )^2+41-6x+5x^2=0\\10\left ( y-\frac{1}{10}x-\frac{19}{10} \right )^2-\frac{1}{10}x^2-\frac{19}{5}x-\frac{361}{10}+41-6x+5x^2=0\\10\left ( y-\frac{1}{10}x-\frac{19}{10} \right )^2+\frac{49}{10}x^2-2\cdot \frac{49}{10}x+\frac{49}{10}=0\\10\left ( y-\frac{1}{10}x-\frac{19}{10} \right )^2\frac{40}{10}(x-1)^2=0[/tex]

Теперь мы можем переписать нашу систему как

[tex]\begin{cases}3y^2+5xy-2x^2-17y-6x+20=0\\ 10y^2-2xy+5x^2-38y-6x+41=0\end{cases}\Leftrightarrow \begin{cases}(2x+y-4)(-x+3y-5)=0\\ \left[\begin{gathered} x-1=0\\ y-\cfrac{1}{10}x-\cfrac{19}{10}=0\end{gathered}\right. \end{cases}[/tex]

На этом мы и закончили решать данную систему

[tex]x=1\Rightarrow y=2[/tex]