Ответ:

Преобразуем выражение.  Применим основное тригонометрическое тождество и формулу косинуса двойного угла :

[tex]\bf sin^2x+cos^2x=1\ \ \Rightarrow \ \ \ 1-cos^2x=sin^2x\ ;\\\\1+tg^2x=\dfrac{1}{cos^2x}\ \ ;\ \ \ cos2x=1-2sin^2x\ \ \Rightarrow \ \ \ sin^2x=\dfrac{1-cos2x}{2}\ \ .[/tex]

[tex]\bf tg^2x+cos^2x=\dfrac{1}{cos^2x}-1+cos^2x=\dfrac{1}{cos^2x}-(1-cos^2x)=\\\\\\=\dfrac{1}{cos^2x}-sin^2x=\dfrac{1}{cos^2x}-\dfrac{1-cos2x}{2}=\dfrac{1}{cos^2x}+\dfrac{1}{2}\, cos2x-\dfrac{1}{2}[/tex]  

Вычислим интеграл , применяя только что доказанное равенство . Получим табличные интегралы .

[tex]\bf \displaystyle \int \limits_0^{\frac{\pi }{4}}(tg^2x+cos^2x)\, dx=\int\limits^{\frac{\pi }{4}}_0\Big(\ \dfrac{1}{cos^2x}+\dfrac{1}{2}\, cos2x-\dfrac{1}{2}\ \Big)\, dx=\\\\\\=\Big(\ tg^2x+\dfrac{1}{4}\, sin2x-\dfrac{1}{2}\, x\Big)\Big|_0^{\frac{\pi }{4}}=tg^2\dfrac{\pi}{4}+\dfrac{1}{4}\, sin\dfrac{\pi }{2}-\dfrac{\pi }{8}=1+\dfrac{1}{4}-\dfrac{\pi }{8}=\\\\\\=\dfrac{5}{4}-\dfrac{\pi }{8}=\dfrac{10-\pi }{8}[/tex]