Koszary są częścią utworzonego w latach 1767 – 1832 kompleksu kazamat. Kazamaty pochodzą z trzech okresów rozbudowy obiektu. Ościeża oraz znaki kamieniarskie na dolnym piętrze pozwalają przypuszczać, że ta część budynku powstała pod koniec XVI wieku. Górne kazamaty natomiast wzniesione zostały po wojnie siedmioletniej (1756 – 1763). Koszary IV wykorzystywane były do zakwaterowania żołnierzy, przetrzymywania jeńców wojennych oraz w celach obronnych.