Видимо, речь идет о правильном шестиугольнике. У него сторона = R описанной окружности. 
Площадь круга = пиR^2. 

Если соединим концы указанной диагонали с центром окружности, то получим сектор, площадь которого S1 = 1/3 площади круга. Если от нее отбросить площадь треугольника, образованного двумя радиусами и указанной диагональю, то получим искомую площадь S. 

Площадь треугольника S2 = 1/2 R*R*sin угла между радиусами = R^2/2 * sin120 = R^2*кв.корень(3)/4. 
S = S1 - S2 = ...