Калинников происходил из чиновничьей семьи, образование получил в Орловской духовной семинарии, где начал обучаться музыке и некоторое время дирижировал хором.