Kohtla-Järve Keskraamatukogu asutati 1947. aastal linnaraamatukoguna, sest põlevkivitööstuse arenemisega oli Kohtla-Järve saanud 1946. aastal linnaks.
Pärast sõda asutatud raamatukogu eelkäijaks võib pidada Järve valla avalikku raamatukogu, mis asus Kohtla-Järve praegusel alal. On ju Kohtla-Järve linn oma nime saanud asukoha tõttu Kohtla ja Järve valla piirimail. 1918. aastast hakati kaevandama põlevkivi. Rajati esimesed kaevandused. Koos õlivabriku rajamisega elavnes elamu-ehitus. Töölisasula sai nimeks Kohtla-Järve 1925.a.

Raamatukogu rajamine oli hädavajalik, sest elanike arv tõusis pidevalt ja ulatus peagi üle 4000.Järve valla avalik raamatukogu asutati 1. jaanuaril 1921.a.Järve valla koolivalitsuse poolt. 1940. aastaks ulatus teeninduspiirkona elanike arv 5330-ni. Sõja ajal sai Järve valla raamatukogu kannatada. Osa raamatuid hävis tules.

Sõjajärgsetel aastatel hakkas linna elanikkond kiiresti kasvama. Eesti NSV Ministrite Nõukogu juures asuv Kultuurharidus Asutiste Komitee kolleegiumi istungil 12. detsembril 1946.a. arutati Virumaa põlevkivitööstuse piirkonnas olevate raamatukogude töö seisukorda. Kultuurharidus Asutiste Komitee esimees G.Abels andis välja käskkirja, milles kästi alates 1. jaanuarist 1947 organiseerida raamatukogud Kohtla-Järvel, Kiviõlis, Küttejõus ja Kohtlas. Täitevkomitee pidi leidma ruumid, sisustuse ja juhataja kandidaadi. Kohtla-Järve raamatukogu fond pidi avamiseks koosnema 1500 raamatust, millest 60% moodustaks venekeelne kirjandus.

Raamatukogu esimesed ruumid olid linna täitevkomitee hoones 32 ruutmeetri suuruses toas. Juba järgmisel aastal kolis raamatukogu omaette hoonesse, kus 4 toas oli kogupinda 125 m2. Avati väike lugemistuba, kuhu oli tellitud 6 ajalehte ja 7 ajakirja.

1953. aastal sai asukohaks Teatri tänav 2 ja seal oli raamatukogu käsutuses 6 tuba kogupinnaga 147 m2. Paraku hakkas seal juba mõne aasta möödudes kimbutama ruumikitsikus, mis oli raamatukogu saatjaks aastakümneid. 1966. aastal sai raamatukogu lõpuks uued ruumid Nõukogude t 27 (praegune Pärna t.), kus põrandapinda oli esialgu 332 m2. Kojulaenutuse tingimused paranesid, aga lugemissaal oli endisest veelgi pisem.

Asutamisest kuni 1959. aastani nimetati raamatukogu Kohtla-Järve Linna raamatukoguks, ajavahemikus 1960-1967 Kohtla-Järve I Linnaraamatukoguks. 1967. aastal nimetati Kohtla-Järve linnaraamatukogu keskraamatukoguks ja tal tuli asuda täitma ülesandeid kõigi linnas asuvate rahvaraamatukogude metoodilise juhendamise keskusena. 1968.a. loodi Eesti NSV Kultuuriministri käskkirjaga metoodiku ametikoht ja 1969.a. bibliograafi ametikoht.

1972. aastal nähti ette linna raamatukogude üleminek tsentraliseeritud süsteemile, vajati täiendavaid ruume, sest keskraamatukogu juurde loodi komplekteerimis- ja töötlusosakond. Haruraamatukogudel jäi tänu sellele tehnilist tööd vähemaks. Kirjanduse soetamise ja töötlemise eest hakkas hoolt kandma vastloodud osakond. Keskkataloogi koostamisega saadi hea ülevaade raamatukogudes leiduvast kirjandusest.

1972.a. hakati keskraamatukogule komplekteerima heliplaate. Raamatukogudevahelise laenutuse efektiivsemaks muutmiseks võeti kasutusele teletaip.

Lugemissaal eraldus keskraamatukoguga ühe katuse alt 1979.a., kui saadi ruumid ühiselamus Kalevi t 33.
Raamatukogusüsteem on üle elanud muutusi seoses Kohtla-Järve endiste linnaosade eraldumisega, sest eraldusid ka Kiviõli, Küttejõu, Püssi, Jõhvi ja Kohtla haruraamatukogud. Samal ajal tulid munitsipaalalluvusse ametiühinguraamatukogud.

90-ndate aastate lõpus lahenes ka keskraamatukogu ruumikitsikus. 1998.a. avati peale kapitaalremonti endise raamatukaupluse hoones lugemissaal. Lugemissaali juurde kuuluvad konverentsisaal, muusikatuba ja avalik interneti-punkt. 1999. aasta sügisel sai keskraamatukogu kojulaenutusosakond juurde kõrvalasuva kaupluse remonditud ruumid.

1997. aastast, mil kasutusele võeti integreeritud raamatukogusüsteem Kirjasto3000, on kõik saabunud teavikud ühtses elektroonilises andmebaasis. 2002.a. septembris vahetati raamatukogusüsteem Kirjasto3000 veebipõhise URRAMi vastu.

Internetiühenduse sai keskraamatukogu lugemissaal 1999. aasta septembris, kui Avatud Eesti Fondi toel avati esimene avalik internetipunkt linnas. Projekti esitas Kiviõli Arenduskeskus. Ühele arvutitöökohale lisandus poole aasta pärast 5 töökohta, kui Hansapank annetas 3 ja linnavalitsus 2 kasutatud arvutit. 2001.a. kevadel sai internetiühenduse ka keskraamatukogu Pärna tänaval. Alates 2004.aastast  on kõik meie raamatukogud varustatud internetiühendusega.