Первый раз это вижу хотя учусь в 10 классе.

4x^2-12xy+9y^2-16 = (4x^2-12xy+9y^2)-16 = (2x-3y)^2 - 16 = (2x-3y)^2 - 4^2 = (2x - 3y - 4)(2x - 3y + 4);