Герасим родился и вырос в деревне. Жизнь в городе для него была своего рода испытанием. Он был устроен на работу во дворе одной капризной барыни, чье самодурство разрушило ни одну крестьянскую жизнь. Герасим по натуре был очень трудолюбивым и считался чуть ли не самым исправным тягловым мужиком. Когда он приехал в Москву, у него за душой ничего не было. Ему купили новый кафтан, зимний тулуп, метлу, лопату и определили к барыне двор мести.

Единственным человеком, с кем он сдружился, несмотря на свой недуг, была робкая и скромная прачка Татьяна. В нее он был даже влюблен, но по очередной прихоти барыни, девушка была отдана замуж за пьющего сапожника Капитона. По состоянию здоровья Герасим был крепким мужиком, но абсолютно глухим. Для него самый шумный день превращался в беззвучные будни. По ночам он должен был караулить дом, а в дневное время возить бочку с водой, таскать дров и подметать двор.

Будучи глухонемым от рождения, все, что он мог выговорить, это невнятное мычание. Поэтому, когда он спас тонущую собачку и принес домой, то назвал ее Муму. Муму стала для него лучшим другом и преданным товарищем. Он в ней души не чаял, кормил, ухаживал и относился всегда по-доброму. Так уж получилось, что барыне не понравился лай собаки, поэтому она отдала приказ лакею вывезти и продать ее. Однако Муму была смышленой собачкой и через день уже вернулась обратно.

Следующий каприз барыни был избавиться насовсем от четвероногого друга и тогда Герасим вынуждено утопил единственное существо, которое понимало его без слов. Этот случай отложил тяжелый отпечаток на жизнь дворника. В конце произведения, окончательно разочаровавшись в жизни в городе, он уехал в родную деревню и жил в своей ветхой избушке обособленно. Больше никогда Герасим не заводил себе друзей, чтобы избежать очередного разочарование.