Раскроем все скобки получим:

ax^2-3x^2-16ax-12a^2

Вынесем за скобки x^2

x^2(a-3)-16ax-12a^2

Получили квадратное уравнение относительно x.

Составьте систему, такую, чтобы дискриминант этого квадратного уравнения была отрицательной и a-3>0. Тогда получится что квадратное уравнение не имеет корней, и старший коэффициент положительный.

Решив ее получите ответ.