La construcción del Obelisco de Buenos Aires la realizó la empresa G.E.O.P.E.-Siemens Bawnion-Green and Bilfinger. Pudo hacerse rápidamente porque se utilizó cemento Incor de endurecimiento rápido. Se fue construyendo por secciones de dos metros para facilitar el volcado del hormigón.
El 29 de febrero de 1938, Roberto M. Ortiz sucede a Justo, y designa, como nuevo Intendente de la ciudad a Arturo Goyeneche. El Concejo Deliberante, por Ordenanza Nº 10.251, de junio de 1939, sanciona la demolición del Obelisco, aduciendo razones económicas, estéticas y de seguridad pública. Pero el Poder ejecutivo municipal veta la ordenanza, caracterízándola como un acto carente de valor y contenido jurídico, ya que altera el estado de cosas emanado del Poder Ejecutivo, y que se trataba de un monumento bajo jurisdicción y custodia de la Nación, a cuyo patrimonio pertenece.
En donde se emplaza el Obelisco de Buenos Aires, previamente, debió demolerse la iglesia dedicada a San Nicolás de Bari. En ella se izó oficialmente por primera vez la Bandera Argentina dentro de la ciudad de Buenos Aires en 1816: dicha circunstancia se recuerda en una de las inscripciones del lado norte.
Para su construcción, que costó 200.000 Pesos Moneda Nacional, se utilizaron 680 m³ de cemento y 1360 m² de piedra blanca Olaen de Córdoba.
Fue favorable para su construcción el que debajo de él estuviera el tendido de la línea del subte «B», pues esto facilitó la colocación de los cimientos sobre los túneles formándose la base de hormigón de 20 m de lado y 1,50 m de altura sobre vigas de 1,80 m de alto que se apoyan en los costados sobre zapatas del mismo material de 1,20 m de alto y de 3 m y 4 m de largo respectivamente. La losa plana del techo del túnel del subte permite el paso de la losa de fundación del obelisco.
Como consecuencia de algunos desprendimientos del revestimiento de piedra, que ocurrieron en la noche del 20 al 21 de junio de 1938, al día siguiente de haberse realizado en el lugar un acto público con la presencia del presidente Ortiz, se decidió eliminar dicho revestimiento en 1943, y se lo reemplazó por uno de cemento pulido realizándole hendiduras que simulan las juntas de las piedras. Al quitarse las lajas no se tuvo en cuenta que se retiró una leyenda que decía «Alberto Prebisch fue su arquitecto».
La estructura del Obelisco de Buenos Aires, basada en la estética racionalista, generó más de una polémica entre los partidarios de la renovación de la ciudad y los sectores más tradicionalistas. Actualmente ya se lo considera como un ícono de la ciudad.