Перепроверь уравнение, в этом промежутке sinx не может равняться -0.8, только положительные значения, к тому же в квадрате, точно не может.

Если там положительное значение, то что то типо:

Sin2x=0.8
Cos2x + sin2x=1
Cos2x=1-sin2x
Cos2x=1-0.8=0.2
1+tg2x=1\cos2x
Tg2x=1\0.2 -1
Tg2x=4
Tgx=2
Т.к на промежутке ПИ/2<x<3пи/4  tgx имеет отрицательное значение, добавляем минус, следовательно tgx=-2

И еще, ты уверен(а), что там sin  в квадате? Просто если нет, есть и другие способы решения...