Потому, что его каморка была единственным местом, считавшимся "его территорией". И, к тому же, он беспокоился за Муму (позже).

Его каморка это было одно место где он мог раслабится, это было его жилье, он был человеком ответсвнным, он не любит когда безпорядок, поэтому, ему просто хотелось, что бы его не доставали, вот он и не любил, когда к нему заходят, у него был таков характер)