1941年11月，建筑工人在五角大樓的工地上。1941年初，希特勒控制了歐洲大部分，時任美國總統羅斯福宣布全國進入緊急狀態。迅速壯大的美國陸軍部(存在于1789年至1947年)急需一座新的指揮基地，于是五角大樓開始動工。

五角大樓的地基很差，原為河邊無人居住的大片沼澤。為此，建筑工人打下了41492根水泥柱，并就地取材，從附近的波拖馬可河中挖來68萬噸砂石，以壓制成30萬立方米的鋼筋混凝土建筑材料。五角大樓的設計為戰爭年代節約了建造一座戰艦的鋼材。其總建筑面積為29英畝，相當于5座美國國會。