в первой скобке:

(a-b)(a+b)/(a+b) -3ab/(b-a) = (a-b)-3ab/(b-a) = приводим к общему знаменателю   = ((a-b)(b-a)-3ab) /(b-a) = (-(a-b)^2-3ab)/(b-a) = (-a^2+2ab -b^2-3ab)/(b-a) = (-(a^2+ab+b^2))/( b-a)

вторая скобка:

(a^2b+ab^2)/ab + b^2/a = (ab(a+b))/ab+b^2/a =( a+b)+b^2/a = ((a(a+b)+b^2))/a = (a^2+ab+b^2)/a

теперь делим то, что получилось от первой скобки на вторую, тогда (a^2+ab+b^2) сократится, останется: -a/b-a = a/a-b