х-длина прямоугольника, у- ширина,

x+y=17
x²+y²=169
x=17-y
(17-y)²+y²=169
289-34y+2y²-169=0
y²-17y+60=0
y1=12 ; x1=5
y2=5 ; x2=17

S=12*5=60

решим системой уравнения.

первое пишем а + б = 17

а второе а ( в квадрате) + б( в квадрате) = 169 (теорема пиФАГОРА)

дальше решаешь 

потом дискрименант будет и ты получишь ответ)