Согласно воспоминаниям художника, замысел картины возник ещё в 1869 году, когда во время работы над конкурсной картиной «Иов и его друзья» он вместе с Константином Савицким поехал на Неву на этюды. Увиденные им там впервые бурлаки произвели на Репина сильное впечатление своим контрастом с жизнерадостным обществом и живописной природой. Тогда же был создан первый акварельный эскиз картины, включавший помимо собственно бурлаков и контрастировавших с ними дачников. Такая композиция картины была раскритикована Фёдором Васильевым как «искусственная» и «рассудочная»