лучше эту задачу чертить:

1) пусть два мальчика - одна линия получилась

2) пришел еще один соединяем (получается треугольник) 3 мальчика - 3 рукопожатия

4) пришел еще один мальчик (четырехугольник) все четыре точки соедини друг с другом - получится шесть линий, значит шесть рукопожатий

5) и когда пришел 5 мальчик получится 5 угольник все точки соединяем друг с другом - получается 10 линий

Ответ: 5 мальчиков