Ответ:

procedure TForm1.FormCreate(Sender: TObject);

begin

  SetWindowLongPtr(Edit1.Handle, GWL_STYLE,

                   GetWindowLongPtr(Edit1.Handle, GWL_STYLE) or ES_NUMBER);

End;

Если необходимы только действительные числа (integer), то используйте SpinEdit.