Carl Guldberg var en meget ung teolog da han nærmest ved tilfeldigheter kom inn i bokbransjen, der han drev både trykkeri, bokhandel og forlag. Han står som en ruvende skikkelse innenfor norsk folkeopplysningsarbeid. Senere ble han prest og hadde 37 års virke innenfor kirken.
Guldberg var født i Strömstad og kom til Fredrikstad som 12-åring, da familien på grunn av dårlige tider flyttet til Norge. Han ble student 1829 (privat dimittert) og teologisk kandidat i Christiania 1833.
Etter eksamen søkte Guldberg først stilling i skolen, men 1834 fikk han tilbud om å overta redaksjonen av det som skulle bli Norges første illustrerte ukeblad, Skilling-Magazin, planlagt av trondheimskjøpmannen og -litografen Peter Andreas Brandt (se NBL1,bd. 2). Trykkingen skulle foregå i København, siden norske trykkerier ikke hadde utstyr for oppgaven. Da Brandt ikke klarte å finansiere bladet, reiste han til Brasil, mens den unge Guldberg overtok utgivelsen mot å ta på seg Brandts gjeld.
1835 kom Guldberg i forbindelse med polakken Adam Dzwonkowski, som var flyktet fra sitt hjemland etter oppstanden 1831. Han var på vei til Sør-Amerika, men havnet i Norge. Der ble han forlovet med datter til den franske konsulen i Christiania, og konsulen oppmuntret Guldberg til å starte en bokhandel der den vordende svigersønnen kunne bli kompanjong.
10. juli 1835 ble bokhandler- og boktrykkerfirmaet Guldberg & Dzwonkowski opprettet. En ung typograf, Peter T. Malling, var i flere år faktor og leder av trykkeriet. En voksende forlagsvirksomhet ble satt i gang, med hovedvekt på allmenn opplysning og faglitteratur, skolebøker, barnebøker og oppbyggelig litteratur. Blant utgivelsene var en samling Folkeskrifter (1841–42), Bondevennen (1835), Nat og Dag (1840–44) og flere andre populære skrifter. En katalog fra 1843 omfattet 170 titler. Guldberg var selv redaktør for mange utgivelser, og redigerte Skilling-Magazin til 1856. Han utgav en historisk oversikt over boktrykkerkunsten og var medutgiver av et norsk-svensk handelsleksikon. Trykkeriet ble overtatt av W. C. Fabritius 1844.
Carl Guldberg ønsket imidlertid å bli prest. Han gikk ut av firmaet (som året etter ble solgt til brødrene Christopher og Jacob Dybwad), og 1847 ble han residerende kapellan i Nannestad. 1858 fikk han samme stilling i Ullensaker. 1869–80 var han sogneprest i Onsøy. Da han gikk av, flyttet han til Kristiania, der han ble boende til han døde.
Våren 1840 ble det i en rekke land forberedt feiring av 400-årsjubileet for Johann Gutenbergs første trykte bok. Guldberg bidrog sterkt til at det ble feiret også i Norge. Henrik Wergeland var med som en drivende kraft. For å gi jubileet nytteverdi foreslo Guldberg å opprette en pensjons- og understøttelseskasse for boktrykkersvenner og en boktrykker- og bokhandlerforening. Foreningen kom i gang, med Guldberg som formann, men det faglige miljøet var begrenset, og den bestod bare noen få år. Den arbeidet for spredning av litteratur, og gikk blant annet inn for bedre pakkepostruter i Norge. Et resultat av arbeidet var en rute mellom Christiania og Göteborg.
Carl Guldberg ble ridder av den svenske Vasaorden 1868, og han var høy frimurer.