Ответ:a<-1/12

Объяснение:

Рассмотрим функцию f(x)=sqrt(3a+x), тогда уравнение примет вид

f(f(x))=x

Поскольку функция f(x) монотонно возрастает, то исходное уравнение равносильно уравнению f(x)=x

sqrt(3a+x)=x, x>=0

3a+x=x^2

x^2-x-3a=0

D=1+12a

Найдем при каких а, получившееся квадратное уравнение имеет хотя бы один неотрицательный корень. Для этого достаточно чтобы больший корень был неотрицателен.

x=(1+sqrt(1+12a))/2>=0 <=> sqrt(1+12a)>=-1

Выходит, что если получившееся квадратное уравнение имеет хотя бы одно решение, то оно будет неотрицательно.

Значит, единственный случай, который нам подходит, это когда квадратное уравнение корней не имеет.

D=1+12a<0 <=> a<-1/12