Формулу можно написать по-разному. Вот, например, три варианта:

1) Если значение икс в ячейке B1,  а значение игрек - в ячейке B2, и если использовать функцию СТЕПЕНЬ, то выйдет такая формула:

=(B1-2)/(5+2*B1/(СТЕПЕНЬ(B2;2)+3))

2) Если икс и игрек там же, но в квадрат возводить попроще, то вот:

=(B1-2)/(5+2*B1/(B2^2+3))

3) Если икс и игрек в ячейках с присвоенными именами x и y, то вот:

=(x-2)/(5+2*x/(y^2+3))

Последняя формула самая наглядная и простая.

Все три  формулы конечно дают одинаковый результат (например, при x=1 и y=2 получим что то около -0,189189189189189).

Внизу можно скачать таблицу с этими формулами (если что, я делал в аналоге Экселя, но вроде всё должно работать нормально).