Aus der Bezirksklasse verabschiedete die Mannschaft sich dann schließlich jedoch im Jahr 1973. Im Jahr 1980 folgte dann der nächste Abstieg in die B-Liga. Zwar gelang hier noch einmal 1982 die Meisterschaft, nach dem Aufstieg in die A-Liga vergingen bis zum nächsten Abstieg jedoch ein weiteres Mal nur zwei Jahre. Dies sollte jedoch den Verein nicht betrüben und es gelang weitere zwei Jahre später erneut in die A-Liga aufzusteigen, wo der VfL sich dann auch zehn Jahre lang konstant halten konnte. Im Jahr 1996 folgte schließlich ein weiteres Mal der Aufstieg in die Bezirksklasse, welcher der Verein bis 1999 beiwohnen durfte. Danach ging es dann wieder runter in die A-Liga.

Von einer schnellen Rückkehr konnte jedoch mal wieder nicht die Rede sein. Im Jahr 2000 ging es direkt weiter in die B-Liga hinunter, derer in der Folgesaison auch gleich der direkte Wiederaufstieg folgen sollte. Dies hielt ein weiteres Mal nur zwei Jahre bis es erneut in die Kreisliga B zurückging. Nach der Saison 2004/05 gelang schließlich nach drei Jahren mit 76 Punkten über den zweiten Platz die Teilnahme an der Aufstiegsrelegation, welche der Verein für sich gewinnen konnte und damit das zweite Mal im Jahrtausend in die Kreisliga A zurückkehren konnte. Damit war es am Ende der Saison 2005/06 aber theoretisch ein weiteres Mal schnell vorbei, mit 21 Punkten hätte die Mannschaft über den 17. Platz eigentlich direkt wieder absteigen müssen. Dank einer Spielklassenreform, durften der VfL sowie einige andere Abstiegskandidaten in der Liga verbleiben. Dies sollte jedoch auch nicht lange helfen und am Ende der Spielzeit 2006/07 ging es mit 29 Punkten über den 15. Platz nach der erfolglosen Relegationsteilnahme wieder in die Kreisliga B zurück.