Замок окружает территорию площадью почти 12 акров (4,9 га) и еще 6 акров (2,4 га) вокруг лондонского Тауэра, составляющего Башню Свободы - земли, находящиеся под непосредственным влиянием замка и очищенные по военным причинам. Предшественник Свободы был заложен в 13 веке, когда Генрих III приказал держать в стороне полосу земли, прилегающую к замку.