Выбрать произвольную точку внутри многоугольника. Площадь многоугольника считается как сумма площадей треугольников, образованных жтой точкой и каждой парой соседних вершин. Площадь треугольника - это модуль векторного произведения векторов, построенных из это точки до вершин (вычисляется как определитель составленный из координат векторов).
Координаты вектора - это разность координат его начала и конца. Например, если ветор из точки (1, 2) в точку (5,3), то это будет (4, 1).