В 1 случае с has studied - у нас получается прошедшее время, хотя первое предложение противоречит этому. К тому же, тут никак не подходит прошедшее время, т.к. мы видим since 5 o'clock

Во 2 случае с has been studying - у нас настоящее время. Подходит и по смыслу и по грамматике

Значит - has been studying