Направим ось Ox параллельно нормали к поверхности шара;
Силы взаимодействия между шаром и частицей направлены параллельно этой оси. Поэтому шар приобретет скорость только вдоль этой же оси, но не начинает вращаться.

Запишем закон сохранения импульса в проекциях на Ox и Oy:

[tex]p_1\cos\alpha = p_2-p_1'\cos\beta\\p_1\sin\alpha = p_1'\sin\beta[/tex]

Где [tex]p_1[/tex] - импульс частицы до удара [tex]p_1'[/tex] - после удара, [tex]p_2[/tex] - импульс шара после удара, угол [tex]\beta[/tex] отсчитывается от той же нормали симметрично углу [tex]\alpha[/tex].

Запишем закон сохранения энергии

[tex]\displaystyle\frac{p_1^2}{2m_1} = \frac{p_2^2}{2m_2}+\frac{p_1'^2}{2m_1}\\p_1^2 = p_1'^2+p_2^2\frac{m_1}{m_2}[/tex]

Подставим сюда строчки из закона сохранения импульса

[tex]\displaystyle p_1^2 = p_1^2\frac{\sin^2\alpha}{\sin^2\beta}+\frac{m_1}{m_2}\left(p_1\cos\alpha+p_1\frac{\sin\alpha\cos\beta}{\sin\beta}\right)^2\\\\\sin^2\beta = \sin^2\alpha+\frac{m_1}{m_2}(\sin\beta\cos\alpha+\sin\alpha\cos\beta)^2 = \sin^2\alpha+\frac{m_1}{m_2}\sin^2(\alpha+\beta)\\1-\cos2\beta = 1-\cos2\alpha+\frac{m_1}{m_2}(1-\cos(2\alpha+2\beta))[/tex]

[tex]\displaystyle\cos2\alpha = \cos2\beta+\frac{m_1}{m_2}(1-\cos2\alpha\cos2\beta+\sin2\alpha\sin2\beta)\\\left(\frac{m_2}{m_1}-\cos2\alpha\right)\cos2\beta+\sin2\alpha\sin2\beta=\frac{m_2}{m_1}\cos2\alpha-1[/tex]

[tex]A\cos2\beta+B\sin2\beta = C[/tex]

Выполним универсальную тригонометрическую подстановку
[tex]\cos2\beta = (1-u^2)/(1+u^2)\qquad \sin2\beta = 2u/(1+u^2)[/tex]

где [tex]u = \tan\beta[/tex]
[tex]\displaystyle A(1-u^2)+2Bu = C(1+u^2)\\(C+A)u^2-2Bu +C-A=0\\D/4 = B^2-C^2+A^2\\u = \frac{B\pm\sqrt{A^2+B^2-C^2}}{(A+C)}\\\tan\beta = \frac{\sin2\alpha\pm\sqrt{(m_2/m_1-\cos2\alpha)^2+\sin^22\alpha-(m_2/m_1\cos2\alpha-1)^2}}{(m_2/m_1-1)(1+\cos2\alpha)}[/tex]

[tex]\displaystyle\tan\beta = \frac{\sin2\alpha\pm\sqrt{\sin^22\alpha+\frac{m_2^2}{m_1^1}\sin^22\alpha-\sin^22\alpha}}{(m_2/m_1-1)(1+\cos2\alpha)}\\\\\tan\beta = \frac{(m_2+m_1)\sin2\alpha}{(m_2-m_1)(1+\cos2\alpha)} = \frac{m_2+m_1}{m_2-m_1}\tan\alpha[/tex]

Мы выбираем знак + для дискриминанта, поскольку в противном случае ответ получается не зависящим от соотношения масс. При [tex]m_1=m_2[/tex] угол [tex]\beta=\pi/2[/tex]