[tex]9m^2-30mn+25n^2=(3m)^2-2*3m*5n-(5n)^2=(3m-5n)^2=\\ =(3*5\frac{2}{3}-5*1.4 )^2=(17-7)^2=10^2=100[/tex]

Нужно применить формулу сокращённого умножения
[tex](a-b)^2=a^2-2ab+b^2[/tex]
А дальше просто подставить значения и посчитать