Ältester Bestand des Friedhofs ist die um 1808 aus dem Abbruchmaterial der St. Gottharder Schlosskirche erbaute Friedhofskapelle. Dieser kleine Rechteckbau weist eine Apsis, Rundbogenfenster und eine Pilastergliederung mit korinthisierenden Kapitellen auf. Der schmiedeeiserne Gitterflügel aus dem 3. Viertel des 17. Jahrhunderts stammt ebenfalls von der St.Gotthardkirche. In der Apsisnische befindet sich eine aus Sandstein gemeißelte „Pieta-Gruppe" (2. Hälfte 19. Jh.), der die ikonographische Formulierung des mittelalterlichen „Vesperbildes" zugrunde liegt.
Es ist dies ein im klösterlichen Bereich ausgebildeter Andachtsbildtypus, in dem die sitzende Maria den über ihren Beinen gelagerten Leichnam Christi beweint. Im Norden der Kirche ist ein spätbarocker Kruzifixus mit einer vor dem Kreuz postierten Sandsteinfigur der Schmerzhaften Maria (um 1870, Jakob Gschiel? aufgestellt. Davor liegt die Grabstätte des 1861 verstorbenen Pfarrers Peter Gollmann mit einer gusseisernen Grabplatte. An der Südwand der Kirche erinnern einige schlichte Epitaphien aus der 2. Hälfte des 19. Jahrhunderts an Wohltäter der Kirche und das 1988 von Alfred Schlosser (geb. 1929 in Kowald . Voitsberg) errichtete, mit Reliefs der Fußwaschung Petri und der Mariazeller Gnadenmadonna geschmückte Grabdenkmal mit der davor postierten Lichtsäule an die Pfarrer von St. Veit. Südlich der Kirche befindet sich das Grab des Tondichters und Freundes von Franz Schubert, Anselm Hüttenbrenner (1794-1868).
Der alte Friedhof wurde 1893 erweitert, neuerliche Vergrößerungen des Friedhofareals erfolgten um 1970 und 1983
