Jak podaje Adam Penkalla w swej książce "Żydowskie ślady w województwie kieleckim i radomskim", cmentarz żydowski w Końskich (w języku jidysz: Kinsk) powstał zapewne w siedemnastym wieku. Nekropolia została założona w północno-zachodniej części miejscowości, poza obszarem zabudowanym, u zbiegu dzisiejszych ulic Staszica i Wjazdowej. Wiadomo, że z czasem na cmentarzu wzniesiono dwa budynki, z których jeden pełnił funkcję domu pogrzebowego. W początkach XX wieku teren cmentarny poszerzono, a jego powierzchnia w 1925 roku wynosiła 2 ha.
Podobnie jak inne nekropolie wyznania mojżeszowe, także cmentarz w Końskich został zniszczony podczas drugiej wojny światowej, a na jego terenie Niemcy dokonywali egzekucji Żydów i Polaków, między innymi więźniów z aresztu przy ul. Jatkowej. Na polecenie niemieckiego zarządcy miasta, Żydzi zostali zmuszeni do rozbijania nagrobków. Pozyskany w ten sposób kamień wykorzystano do prac budowlanych, między innymi do budowy tuczarni dla świń czy też wieży w Modliszewicach. Jak wynika z dokumentów przechowywanych w Żydowskim Instytucie Historycznym im. E. Ringelbluma w Warszawie, w latach dziewięćdziesiątych część potłuczonych płyt nagrobnych sprzedano najprawdopodobniej jednemu z mieszkańców wsi Kazanów. Jeszcze dziś w Końskich oraz w pobliskich miejscowościach można odnaleźć zabudowania z tkwiącymi w ich ścianach odłamkami macew. Zdjęcia tych budynków można obejrzeć na stronie Polin - Dziedzictwo Polskich Żydów. Oficjalnie cmentarz został zamknięty przez władze w 1965 roku, a jego teren został częściowy zabudowany.