Verified answer

из второго

x=-y`-3y   (*)

дифференцирую его по t

x`=-y``-3y`

подставляю их в первое

-y``-3y`= -y`-3y+5y

-y``-2y`-2y=0

y``+2y`+2y=0

характеристической уравнение

λ^2+2λ+2=0

D=4-8=-4

λ=(-2+-2i)/2=-1+-i

y(t)=e^(-t)(C1cost+C2sint);

y`= -e^(-t)(C1cost+C2sint)+e^(-t)(-C1sint+C2cost)

подставлю в выражение (*)

x=e^(-t)(C1cost+C2sint)-e^(-t)(C2cost-C1sint)-3e^(-t)(C1cost+C2sint)=

= -2e^(-t)(C1cost+C2sint)-e^(-t)(C2cost-C1sint)

подставлю начальные условия

y(0)=C1=1

x(0)=-2(1+0)-1(C2-0)= -2-C2=-2; C2=0

Тогда ответ

x(t)=-2e^(-t)cost+e^(-t)sint=e^(-t)(sint-2cost)

y=e^(-t)cost;