Door de inval van de Saalfranken (tussen 350-490) kwam de Kempen onder het bestuur van Tongeren. Waarschijnlijk is daarom St. Servaas de patroonheilige van Herselt.
Herselt was kerkelijk onderhorig aan de bisdommen Luik, Trier, Mainz, Keulen... De parochie Herselt bestond al ergens tussen de jaren 393 en 800. De Zuiderkempen werden deels opgenomen in het graafschap Brabant.
In 1302 vochten inwoners van Herselt in het leger van Arnold IV, Heer van Wezemaal, in de slag der Gulden Sporen.
1176-1183: Westerlo en omgeving wordt overgedragen door het kapittel van Utrecht aan Arnold I van Wezemaal.
In 1559 kon Filips van Spanje Paus Paulus IV te overtuigen een nieuwe omschrijving van de bisdommen te maken. Het prinsbisdom Luik kwam nog tot Deurne bij Averbode en het gebied werd verdeeld tussen de dekenij Geel, bisdom ’S Hertogenbos, waarin Westerlo en Blauberg en de dekenij Herentals, bisdom Antwerpen met daarin Oosterwijk-Houtvenne, Ramsel en Herselt. Herselt zat zo op het einde van het ancien regime eens te meer opgescheept met verschillende kerkelijke en wereldlijke grenzen en de daaruit volgende vetes tussen sommige deeldorpen en grenzende parochies.
Het gekibbel bestond nog bij de aanvang van de Franse Revolutie en de Franse overheersing.
In 1800 kwamen we onder het Hollands bewind. De Nederlanders bestuurden behoorlijk, al resten weinig documenten over die tijd.
18 augustus 1914 wordt de zwartste dag uit de recente geschiedenis als Duitse troepen terreur zaaien vanaf Blauberg tot Herselt dorp. Herselt treurt om 19 martelaren. De tweede wereldoorlog had minder impact op Herselt.
Herselt, Bergom, Varenwinkel, Blauberg en Ramsel waren in de 20ste eeuw woonkernen met seizoenarbeiders in Wallonië (bieten) met zware arbeid voor een tamelijk loon en nog minder erkenning. Anderen zochten werk aan de “bassin” (havenarbeid) en kleinschalige landbouw. Dat was ook zo in Ramsel waar ook steenbakkerijen voor werk zorgden. Verder was er overvloed aan drankgelegenheden en meestal bescheiden winkels en ambachten.
Ramsel schreef een tijd zijn eigen dorpsgeschiedenis. Het steenbakkersdorp maakte zich onafhankelijk van Groot Herselt in 1865 en werd er terug mee samengevoegd in 1977.