Nació en Bogotá, el 8 de agosto de 1816 y murió en la misma ciudad, el 20 de octubre de 1898. Escritor, poeta, periodista, dramaturgo y político. En su época, gozó de prestigio en los círculos literarios y algunos estudiosos de su tiempo afirmaron que fue el último representante de la escuela neoclásica.

Utilizó los seudónimos: Damón; y Yarilpa. Este último tomado de un personaje de una tragedia de Luis Vargas Tejada; y Celta, especialmente usado por Caicedo cuando escribía artículos cortos o versos. El autor modificó el vocablo latín "celte", que significa buril para grabar o esculpir en piedra, para usarlo como seudónimo.

Hizo sus estudios en los colegios de José M. Groot y José M. Triana. Abogado del Colegio Mayor del Rosario. Educador en varios colegios.

En el campo de la política fue Diputado al Congreso por la provincia de Bogotá (1850-51) y presidente de la Cámara de Representantes. En 1852 abogó para que no se abolieran las leyes que, en ese entonces, protegían a los indígenas.

Director de la Academia Mutis. Formó parte de la tertulia de El Mosaico que publicaba el periódico homónimo en el que Caicedo Rojas publicaba crónicas periodísticas, poemas y novelas. Miembro correspondiente de la Academia española de la Lengua y secretario de la Academia Colombiana de la Lengua. Encargado del Museo Nacional en 1881 y 1884, colaboró en la ordenación y clasificación de las piezas de la colección. Participó en la fundación de la Sociedad Filarmónica de la que fue su presidente varias veces. Colaborador de varios periódicos literarios entre los cuales se cuentan El Duende, El Trovador, El Museo, El Pasatiempo y otros; y formó parte de la redacción de El Correo Mercantil.

La obra más conocida del autor es Recuerdos y apuntamientos, publicada en 1886, en el contexto de la época denominada Regeneración, en Colombia. Escribió una Biografía de Luis Vargas Tejada, dramaturgo colombiano del siglo XIX, conocido como el padre del teatro colombiano.

Caicedo Rojas fue uno de los grandes promotores del teatro en las décadas de 1840 y 1850, ya fuera como accionista de la Sociedad Protectora del Teatro, de la cual fue fundador y miembro del Directorio, en 1849, o como uno de los críticos teatrales más importantes de ese momento. En sus escritos destacaba el trabajo de actores, actrices y autores colombianos.

Autor de las piezas inéditas: Celos, amor y ambición (1855-56), drama en cinco actos y en prosa, estrenada en junio de 1856 por la Compañía Dramática Nacional, en Bogotá, dirigida por Lorenzo María Lleras. Sobre esta obra, el periódico literario El Álbum escribió que en este drama se reconoce a la reina destronada, al débil y enfermizo Henrique IV, a la voluptuosa y gentil doña Guiomar y, por último, al marqués de Villena. Gratitud de un artista, o Los dos pintores [1868 o 1869]; Miguel de Cervantes [s.f.], drama estrenado el 28 de julio de 1850 por la compañía colombiana Auza, en Bogotá.