Najstarsza zachowana pisemna wzmianka o istnieniu cmentarza żydowskiego w Lublinie pochodzi z 1555 roku. W potwierdzonym przez króla Zygmunta II Augusta dokumencie można przeczytać o przekazaniu gminie żydowskiej w Lublinie przez starostę Stanisława Tęczyńskiego trzech działek. Na jednej z nich – na wzgórzu pełniącym od XIII w. rolę grodu obronnego, usytuowano cmentarz. Najstarsza znajdująca się tu macewa, która zapewne tylko cudem zachowała się do dziś, upamiętnia słynnego talmudystę Jakuba Kopelmana – pochodzi z 1541 roku, który to fakt jasno wskazuje, że pochówków dokonywano tu wcześniej niż można by wnioskować z opatrzonego królewską pieczęcią dokumentu.

Po założeniu nowego cmentarza żydowskiego w Lublinie, przepełniona nekropolia na Kalinowszczyźnie została zamknięta w 1830 roku. Mimo zamknięcia do początków XX wieku odbyło się tu jeszcze kilka legalnych i nielegalnych pochówków. Podczas I wojny światowej większość drewnianych macew spalili żołnierze rosyjscy. Także w burzliwych latach międzywojnia dokonano kilku kolejnych dewastacji. Szacuje się, że w dniu wybuchu wojny na cmentarzu prawdopodobnie znajdowało się jeszcze ok 3000 macew. W trakcie okupacji Niemcy do reszty zdewastowali cmentarz, zaś samych płyt nagrobnych używali do brukowania dróg. Wnikliwe oko obserwatora dostrzec może do dziś dziury po pociskach pozostałe na niektórych z nagrobków. Także i po wojnie cmentarz nie uchronił się przed kolejnymi aktami wandalizmu – dziś na otoczonym murem starym cmentarzu żydowskim pozostało już tylko około dwustu macew.