Planurile sale erau însă mai ambiţioase şi, după ce a strâns suficienţi bani pentru a părăsi oraşul, s-a mutat în Stockholm. La 21 de ani s-a angajat în cadrul companiei producătoare de echipamente Öllers & Co., prima din industria electromecanică din Suedia, axată mai ales pe producţia de echipamente telegrafice. A lucrat vreme de şase ani la Öllers & Co., studiind în timpul liber designul şi limbile străine, necesare pentru a-şi continua educaţia în afara ţării. Guvernul suedez a fost printre primele din lume care au oferit tinerilor muncitori şi studenţi burse pentru studiile în alte ţări, iar Ericsson a fost unul dintre beneficiarii acestora.
La recomandarea lui Otter, şeful Öllers & Co., a primit două astfel de burse, prima în 1873 şi cea de-a doua în 1875, în fabrici elveţiene şi germane. Una dintre companiile în care a lucrat a fost Siemens & Halse. La întoarcerea în Suedia, în 1876, a fondat un atelier împreună cu prietenul lui, Carl Johan Andersson, cu care lucrase la Öllers & Co. Atelierul era de fapt o bucătărie de 13 mp, aflată într-o zonă centrală a Stockholmului. Investiţia iniţială a fost de 1.000 de coroane suedeze (aproximativ 150 de dolari) pe care i-a împrumutat de la Maria Stromberg din Nyagard, unul dintre cei mai activi investitori ai secolului.
Singurul lor angajat era un asistent de 12 ani. La început, Ericsson repara instrumentele telegrafice şi alte dispozitive electrice, dar apoi a început, după propriul design, producţia unor aparate precum telegraful cu taste folosit în sistemele feroviare de atunci. Reputaţia pe care a dobândit-o l-a ajutat să obţină comenzi de la o serie de instituţii private şi publice în domenii precum telegrafia, protecţia împotriva incendiilor şi transportul feroviar. În 1878, la 32 de ani, s-a căsătorit cu Hilda Simonsson, care a devenit şi partenera lui de afaceri. În acelaşi an, a livrat primul telefon fabricat în atelierul propriu, inspirat din telefoanele americane create de Edison şi care ajunseseră să fie reparate în cadrul firmei lui.
Momentul care a revoluţionat industria telefoniei suedeze a fost 1880, odată ce compania American Bell a construit cu echipament american prima reţea de telefonie în Stockholm. Ericsson era pe punctul de a-şi pierde piaţa, dar a evitat acest lucru după ce a câştigat un contract în defavoarea americanilor. Telefoanele lui erau considerate „mai simple, mai puternice şi mai atrăgătoare„. La începutul anului 1880, Ericsson avea zece angajaţi, iar patru ani mai târziu numărul lor ajunsese la 100.
Compania ajunsese să producă atât pentru piaţa internă, cât şi pentru cea externă – în ţările scandinave, Rusia şi Anglia. În 1896, a transformat businessul L.M. Ericsson & Co. în Aktiebolaget L.M. Ericsson & Co., după o capitalizare de un milion de euro. A fost managing director şi preşedinte al consiliului director al noii companii până în 1903, când s-a pensionat.