Пусть х км\час - собственная скорость катера. 
3 + х = скорость катера, по течению. реки 
х - 3 = скорость катера, против течения реки 
сказано по течению 5 часов, => пройденный по течению путь равен 5(3+х). 
сказано против течения 3 часа => пройденный против течения путь путь равен 3(х-3). 
Составим уравнение 

5(х+3)+3(х-3)=126 
5х+15+3х-9=126 
8х + 6 = 126 
8х = 126 - 6 
8х = 120 
х = 120/8 
х = 15. 

Ответ: 15 км\час.