направляющий вектор первой прямой

n1(4;a;-3b)

второй -n2(b;5a;2)

если эти прямые перпендикулярны, то скалярное произведение векторов должно быть 0

n1*n2=4*b+a*5a-3b*2=0

в задании указано, что надо найти а через b

5a^2=3b^2-4b

a^2=b(3b-4)/5

a=+-√(b(3b-4)/5)