неправильно составлена система изначально

а и b- катеты треугольника и 13, т.е гипотенуза

и вторая система должна быть такой

a^2 +b^2=13^2     a^2+b^2=169

теперь выразим  из первой системы чему равно а=7+в

и подставим во вторую

(7+b)^2 + b ^2 =169

раскроем скобки

49 + 14 b + b^2 + b^2 -169=0

2 b^2 +14 b -120=0

сократим все на 2

b^2+7b-60=0

D=289

b1=-12         b2=5

сторона не может же быть отрицательной, верно?

значит b=5

а а в свою очередь равна= 7+5 =12