Х - монеты по 5руб.

У - монеты по 10руб.  У = ЗХ (в три раза больше Х)

Х + У = 96

В уравнение (выше) вместо У подставляем 3Х

Х + 3Х = 96

4Х = 96

Х = 24

Итого:

Монеты по 5руб. всего 24

Монеты по 10 руб. всего 72 (У = 24 * 3 = 72)

Проверка: 24 + 72 = 96