Если только натуральные то  

16x^2-7y^2+9z^2=-3 \\ 7x^2-3y^2+4z^2 = 8 \\ \frac{-3-9z^2+7y^2}{16} = \frac{8-4z^2+3y^2}{7} \\ -21-63z^2+49y^2 = 128 - 64z^2+48y^2 \\ z^2+y^2 = 149 \\ x^2+y^2+z^2 = 10^2+7^2+4^2 = 165    

Из меньших треугольников  

\frac{ OK }{sin60} = OB \\ \frac{ OM }{sin60}= OC \\ \frac{OK+OM}{sin60} = BC \\ KB=OB*sin30 \\ CM=OC*sin30 \\ AK+AM= 2AB-BC*sin30 \\ P_{AMOK} = AB*( \frac{\sqrt{3}+3}{2}) \\ AB= \frac{ \sqrt{3}P+3P}{3} \\ P_{AMOK} = \frac{\sqrt{3}P+3P}{3} * \frac{\sqrt{3}+3}{2} = \sqrt{3}P+2P