по теореме Виета

1) для первого уравнения (x1*x2)=a и (x1+x2)=5

2) для второго уравнения (x1-1)*(x2-1)=3a-6

из 2  раскрываем скобки и получаем x1*x2-x1-x2+1=3a-6 ⇔

(x1*x2)-(x1+x2)+1=3a-6

подставляем значения из 1-го и получаем

a-5+1=3a-6 далее

a=1