Радиус вписанной окружности это

[tex]r = \frac{\sqrt{3}}{6} a[/tex]

Поскольку диагональ вписанного в окружность квадрата равна 2r, а сторону назовем буквой b,  то имеем, за теоремой Пифагора

[tex]2b^2 = (2r)^2\\\\b^2 = 2r^2\\\\r = \frac{b}{\sqrt{2} }\\[/tex]

Теперь приравниваем уравнения радиусов, учитывая что b = (a-5)

[tex]r = \frac{a-5}{\sqrt{2}} = \frac{\sqrt{3} }{6} a\\\\a - 5 = \frac{\sqrt{6} }{6} a= \frac{a }{\sqrt{6} }\\a = \frac{5}{1-\frac{1}{\sqrt{6} } } = \frac{5\sqrt{6} }{\sqrt{6}-1 } }[/tex]