A vármegyei levéltárak a nemesi vármegye önkormányzatának kiteljesedése következtében, a 16. század derekán kezdtek kialakulni: ebből az időszakból maradtak fenn az első jegyzőkönyvek, amelyekbe a jegyzők a megye közgyűlése, törvényszéki ülése elé kerülő ügyeket beírták. Az ezt megelőző időszakra kevés adatunk van, inkább csak sejthető, hogy véletlenül kerültek oklevelek a megyei iratok közé. Borsod legrégibb oklevelei a Dráva melléki területekre vonatkoznak; valamelyik onnan menekült család révén kerülhettek a megye iratai közé. A 16. század előtt nemigen lehet megyei levéltárról beszélni, mert valószínű, hogy a fő- és alispánoknál maradtak a megyét illető oklevelek. Borsod vármegye levéltárának nagyságáról, rendjéről a 18. századig nincs közvetlen adatunk. 1709-ből valő az első híradás, amikor a megye kéréssel fordul az egri káptalanhoz, hogy a káptalan kassai házában elhelyezhesse három ládányi iratanyagát.  1723-ban a megye az építendő székház ügyében írt a Helytartótanácsnak, s ebből a fogalmazványból derül ki, hogy a levéltárat a zavargások ideje alatt Szendrő várában őrizték. A helyzet 1727-ben változott meg, mikor is felépült az első megyeháza. A levéltár – akkor még rendezetlen irattömeg – az északi szárny földszintjén, négy helységben kapott helyet. Későbbiekben megkezdődhetett a rendezés munkája is. Az 1736. március 12-én tartott közgyűlés Bodó György főjegyzőt bízta meg a rendezéssel. Két írnokot is adtak melléje; egyikük nevét ismerjük, Mengikovich Pálnak hívták. Az első rendezés eredményeképpen kialakult levéltári rendet ma már csak egy-két korabeli mutatókönyv és korai iratanyagok egy részén olvasható jelzet őrzi. Bodó György helyét a főjegyzői székben, s így a Levéltár élén is 1757 után Tallján András vette át. Őt Batha Bálint (1765–1768) követte, majd Bük Zsigmond következett 1781-ig, aztán Fáy Barnabás 1786-ig. A megye tulajdonképpeni első levéltárosa az 1786-tól hivatalba lépő Széchy Péter lett. Ő az első, akit a korabeli iratok “archivarius” néven emlegetnek. 1786-tól indul meg és Széchy Péter nevéhez fűződik az újabb rendezés, melynek során kialakult a 1785 előtti megyei iratanyagnak a ma is jól ismert rendje. A 18. század végén fontos változások következtek be a megyei levéltárakat illetően: feudális jogok biztosítását szolgáló intézményekből egyre inkább tudományos kutató intézményekké kezdtek válni. Ennek a korszaknak történettudósai fedezték fel, hogy micsoda történeti értékek rejlenek a levéltárakban. Megyénkben olyan történészek nevei fémjelzik ezt a folyamatot, mint Szirmay Antalé és Kazinczy Ferencé; mindketten Zemplén vármegye levéltárosai voltak. Borsodban 1820-as és 30-as években itt dolgozott Novák István révén indult el ez a folyamat, aki a legrégebbi iratok és jegyzőkönyvek lemásolását végezte el.

Az 1850-es évektől a már elsősorban tudományos kutató intézményeknek számító megyei levéltárakba folyamatosan, s többé-kevésbé hiánytalanul kerültek be a vármegye kialakuló hivatalainak iratai. Ebben az időszakban kialakult nem szerves, hanem gyűjtemény jellegű iratanyagok közül a Borsod vármegye területén 1865-től működő egyesületek alapszabályai érdemelnek említést.