Την Άνοιξη του 1944 οι κατοχικές δυνάμεις ενέτειναν τις επιχειρήσεις τους με στόχο την εξάλειψη των αντάρτικων ομάδων που δρούσαν στα εδάφη της Δυτικής Μακεδονίας. Σε αυτό το πλαίσιο, το γερμανικό Φρουραρχείο Καστοριάς, το οποίο υπαγόταν στο Περιφερειακό Φρουραρχείο Φλώρινας, έλαβε πληροφορίες κατά τη διάρκεια μιας ανάκρισης, οι οποίες έκαναν λόγο για συνεργασία του Δημητρίου Γάβρου ή Γαβρόπουλου, ενός μυλωνά από το Κωσταράζι, με τους αντάρτες του ΕΛΑΣ. Ο Γαβρός, ο οποίος είχε υποστεί την αγριότητα των κατοχικών αρχών τον Ιούλιο του 1943, όταν είχαν επιτεθεί και πυρπολήσει την οικία του μαζί με άλλες δύο στο Κωσταράζι, φαίνεται πως εφοδίαζε τα αντάρτικα σώματα με τρόφιμα και παρείχε ηλεκτρική ενέργεια στους αντάρτες, για να φορτίζουν τις μπαταρίες των ασυρμάτων τους.

Βασιζόμενες στις πληροφορίες που είχε συγκεντρώσει το Φρουραρχείο Καστοριάς, οι κατοχικές δυνάμεις στη Θεσσαλονίκη εξέδωσαν διαταγή για την οργάνωση επιχείρησης με στόχο την εξόντωση των ανταρτών που δρούσαν στις περιοχές γύρω από το όρος Άσκιο. Η ηγεσία της επιχείρησης ανατέθηκε στον λοχία της Στρατιωτικής Χωροφυλακής, Μίχαελ Έμπνερ. Σχετικά με την υπόθεση στο Κωσταράζι, το Φρουραρχείο Καστοριάς διέταξε την καταστροφή του μύλου του Δημήτρη Γάβρου και τη σύλληψη του μυλωνά, είτε νεκρού είτε ζωντανού, καθώς και τη μεταφορά του στο Φρουραρχείο.

Στις 12 Απριλίου 1944, συντονισμένες δυνάμεις της Βέρμαχτ, των Ες Ες και Βούλγαρων Κομιτατζήδων εξαπέλυσαν επιχείρηση με στόχο την καταδίωξη των ανταρτών στην περιοχή του Άσκιου. Ο λοχίας Έμπνερ, μαζί με περίπου 200 στρατιώτες και 50 Κομιτατζήδες κινήθηκαν προς το Κωσταράζι. Ενημερωμένοι για την επικείμενη επίθεση και έχοντας γνώση για τις αντίστοιχες επιχειρήσεις και τα ολοκαυτώματα των κατοχικών αρχών που είχαν προηγηθεί σε άλλα χωριά της Δυτικής Μακεδονίας, ο ανδρικός πληθυσμός του Κωσταραζίου εγκατέλειψε το χωριό και αναζήτησε καταφύγιο στις γύρω δασώδεις περιοχές.

Με την είσοδο των κατοχικών δυνάμεων στο χωριό, ξεκίνησαν οι βιαιοπραγίες. Από τα πρώτα θύματα ήταν ένα παιδί μόλις δώδεκα ετών, που έπεσε νεκρό από τα πυρά των κατακτητών. Με διαταγή του λοχία Έμπνερ, ο άμαχος πληθυσμός που είχε παραμείνει στο Κωσταράζι συγκεντρώθηκε βίαια στην πλατεία. Εκεί, ο λοχίας απαίτησε την άμεση επιστροφή των κατοίκων που είχαν διαφύγει, δίνοντας ιδιαίτερη έμφαση στην επιστροφή των ιδιοκτητών του μύλου, Δημήτριου Γαβρού και Ανδρέα Μότσιου. Παράλληλα, προσπάθησε να καθησυχάσει τους συγκεντρωμένους, διαβεβαιώνοντας πως δεν θα ασκηθεί βία σε όσους επέστρεφαν στο χωριό με τη θέλησή τους. Ωστόσο, υπογραμμίζοντας τις προθέσεις των κατοχικών δυνάμεων, ο Έμπνερ προειδοποίησε πως σε περίπτωση μη υπακοής θα εκτελούσε είκοσι κατοίκους.

Για να διασφαλιστεί η μετάδοση του μηνύματος στους διαφυγόντες, οι στρατιωτικές δυνάμεις ανάγκασαν τον κάτοικο του χωριού, Δημήτριο Τσίτση, να ντυθεί στα λευκά και να μεταβεί στις γύρω δασώδεις περιοχές, προκειμένου να διαμηνύσει το απειλητικό μήνυμα. Παρά τις διαβεβαιώσεις, με την επιστροφή των κατοίκων και των ιδιοκτητών του μύλου, ο λοχίας Έμπνερ εκτέλεσε με το υπηρεσιακό του περίστροφο τον Δημήτριο Γαβρό.

Στις 13 Απριλίου 1944, οι κατοχικές δυνάμεις, συνεχίζοντας το έργο της καταστροφής, προχώρησαν στην πυρπόληση του Κωσταραζίου. Από την επίθεση καταστράφηκαν ολοσχερώς 261 οικίες και προκλήθηκαν ζημιές σε άλλες 10. Επιπλέον, εκτελέστηκαν ή κάηκαν ζωντανοί τρεις ηλικιωμένοι και δύο βρέφη. Παράλληλα, οι δυνάμεις των Ες Ες στήνοντας πολυβόλα, ετοιμάζονταν να εκτελέσουν τον ανδρικό πληθυσμό του χωριού. Ο λοχίας Έμπνερ, σε μεταπολεμική μαρτυρία του, ισχυρίστηκε ότι με δική του παρέμβαση ματαιώθηκε η εκτέλεση. Τελικά, περίπου 78 άνδρες οδηγήθηκαν ως όμηροι στο Φρουραρχείο Καστοριάς, οι οποίοι αφέθηκαν ελεύθεροι λίγες μέρες αργότερα, χάρη στην παρέμβαση του Νομάρχη Καστοριάς.

Σε γενικές γραμμές, στο ολοκαύτωμα του Κωσταραζίου, περίπου 7 άμαχοι έχασαν τη ζωή τους από τις βιαιοπραγίες των κατακτητών, ενώ ο οικιστικός ιστός του χωριού καταστράφηκε εξ ολοκλήρου. Μετά την καταστροφή, οι κάτοικοι του Κωσταραζίου εκτοπίστηκαν βίαια και διασκορπίστηκαν στα γύρω χωριά, ενώ η επανακατοίκηση του χωριού απαγορεύτηκε. Με τον τρόπο αυτό, οι κατοχικές δυνάμεις επέλεξαν να τιμωρήσουν τον άμαχο πληθυσμό για την υποστήριξη που παρείχε στους αντάρτες. Το Κωσταράζι αποτέλεσε ένα ακόμα τραγικό τεκμήριο της ωμής καταστροφής του πολέμου, καθώς και των ανελέητων εγκλημάτων που διέπραξε το ναζιστικό καθεστώς στον ελλαδικό χώρο. Από το κτηριακό απόθεμα του παλιού Κωσταραζίου, έχουν διασωθεί μόνο η εκκλησία της Γέννησης της Θεοτόκου, το σχολείο που αναστηλώθηκε πρόσφατα και ορισμένα ερείπια κατοικιών. Μετά το ολοκαύτωμα, ο οικισμός δεν επανακατοικήθηκε, ενώ στη δεκαετία του ’50 ιδρύθηκε το Νέο Κωσταράζι, σε νέα γεωγραφική θέση.

Το 1998, το ελληνικό κράτος χαρακτήρισε το Κωσταράζι μαρτυρικό χωριό με το υπ’ αριθμ. 399/07.12.1998 Προεδρικό Διάταγμα, σε αναγνώριση του τραγικού αυτού γεγονότος και αποδίδοντας φόρο τιμής στα θύματα του ολοκαυτώματος.