Потому что слово afraid в английском языке является прилагательным, но никак не глаголом, также как и слова sorry, alone, awake, alight  и т.д.

Прилагательные по типу таких называются предикативами, ну или что проще, слова категории состояния. В Вашем случае, afraid обозначает состояние испуга. Да и дословно to be afraid of переводится как "быть напуганным чем-то", соответственно, без to be здесь никак.

В этом предложении глаголом выступает to be, а afraid – это предикативное прилагательное