|z| - это расстояние от точки z  до начала координат. И раз оно меньше 1, то описываемое неравенством |z| < 1 множество точек - это круг с центром в начале координат и радиуса 1 без граничной окружности.