запишем систему трех уравнений , первое условие разность сторон,

и два уравнения из теоремы косинусов для двух диагоналей

a²+b²-2abcosa=256

a²+b²+2abcosa=324

a^2+b^2=2ab=36

36+2ab-2abcosa=256

36+2ab+2abcosa=324

av-abcosa=110

ab+abcosa=144

abcosa=17

ab=110+17=127

a-b=6

ab=127

x^2-6x-127=0

x1=3+2√34

x2=3-2√34

a=3+2√34

b=2√34-3