2004年7月4日：“自由之塔”的建設工作在美國獨立日當天開始。一塊重達20噸的花崗巖被作為地基放入施工現場。這塊花崗巖上銘刻了這樣的碑文：“為了紀念和銘記在2001年9月11日失去他們生命的遇難者，以及作為對永久的自由精神的貢獻。2004年7月4日。”

    2005年5月：考慮到越來越嚴重的安全問題，紐約州州長帕塔基要求對“自由之塔”進行重新設計。2005年6月，經過修改的方案再次出臺。經過修改之后，“自由之塔”位于世貿中心原址的西北角，遠離周圍的一條高速公路。此外，大廈200英尺的地基將使用一層鋼筋混凝土墻壁來遮蓋。紐約警方此前曾表示原設計方案使大廈容易遭到卡車炸彈的襲擊。