Среди а и b точно одно отрицательно, а другое положительное. Так как при умножении отрицательное, и иного варианта быть не может. Способом подбора выходит, что a=2, b=-1. a2+b2=4-1=3