Verified answer

Пусть эти члены в порядке возрастания a,b,c.

Тогда (по т.Пифагора) c^2=a^2+b^2

(т.к. геом.прогрессия) b^2 = ac

c^2=a^2 + ac

Делим обе части на c^2, получаем 

1 = (a/c) + (a/c)^2

Обозначив a/c=t, получаем квадратное уравнение

t^2+t-1=0

Положительный корень этого уравнения равен 

Теперь заметим, что a/c=cos B (как обычно, угол B противолежит катету b). А cos A=sin B можно найти из основного тригонометрического тождества.