La 12 ani a început să lucreze într-o fabrică de bumbac, dar a continuat să studieze mergând la cursuri de noapte. La 14 ani s-a angajat ca mesager la biroul de telegrafie al oraşului Pittsburgh. Abilităţile sale au fost observate de cel care conducea divizia vestică a căilor ferate din Pittsburg, Thomas A. Scott, care l-a angajat pe tânăr ca secretar. În timpul Războiului Civil, Scott a fost desemnat secretar de război, iar Carnegie l-a urmat la Washington unde a devenit mâna lui dreaptă.
După ce războiul s-a încheiat, Carnegie a preluat funcţia lui Scott de şef al diviziei vestice a căii ferate Pennsylvania. Inspirat, a investit în mai multe companii promiţătoare, inclusiv în câteva fabrici de producţie de fier, dintre care cea mai importantă a fost Keystone Bridge, companie în care deţinea o cincime din acţiuni.
Dornic de a învăţa noi tehnici pentru a-şi dezvolta afacerea, făcea deseori călătorii în Marea Britanie unde a avut ocazia să observe dezvoltarea rapidă a industriei fierului. A anticipat o revoluţie în industrie şi anume înlocuirea fierului cu oţelul în producţia bunurilor grele. În anul 1870, a ridicat primul furnal cu aer comprimat unde a folosit un procedeu necunoscut până atunci în America: transformarea fierului în oţel după un model al britanicului Bessener.
Tehnica a fost rapid preluată de alţi producători, iar în 1874, Carnegie a inaugurat primul furnal de oţel. S-a asociat cu numeroşi parteneri, printre care Henry Frick, dar a insistat mereu să fie majoritar în acţiuni. În 1889, Carnegie a acceptat ca Henry Frick să devină preşedintele companiei după ce el s-a mutat la New York pentru a-şi continua munca de cercetare şi dezvoltare a companiei.
Pentru că activitatea era împărţită între numeroase fabrici şi furnale răspândite în zona Pittsburgh, Frick a reunit toate unităţile de producţie sub umbrela Carnegie Steel Company, din cauza lipsei unei structuri de management centralizat. Evaluată la 25 de milioane de dolari, era cea mai mare companie de producţie a oţelului din lume. Într-un efort de creştere a profitului, Henry Frick a hotărât să scadă salariile angajaţilor, iar acest lucru a condus la o grevă pe care Frick a încercat să o oprească folosind spărgători de grevă.
Lupta dintre membrii sindicali şi aceştia au dus la moartea a zece oameni şi peste 50 de răniţi. Carnegie era în Scoţia în timpul grevei şi a fost revoltat de decizia lui Frick, dar şi-a asumat în public responsabilitatea pentru alegerea acestuia. În curând, a existat un alt conflict între Carnegie şi Frick, cel din urmă fiind înlăturat din afacere.
În 1901, Frick s-a alăturat J.P. Morgan şi a cumpărat compania Carnegie în schimbul sumei de 500 de milioane de dolari. Carnegie a făcut un fond destinat „îmbunătăţirii omenirii„, iar acesta includea construirea a 3.000 de biblioteci publice, a institutului Carnegie din Pittsburgh, a institutului Carnegie de tehnolgie şi a institutului Carnegie din Washington destinat cercetării în fizică şi ştiinţe naturale. A inaugurat şi o fundaţie pentru pace internaţională cu scopul de a preveni războaiele viitoare.