Das Schloss als historischer Mittelpunkt der Stadt zählt zu den schönsten Fachwerkbauten und steht an der Stelle, an der sich im 13. Jahrhundert das alte „castrum burgtorfe“ befand. Diese Wehranlage wurde im Laufe der Zeit dreimal zerstört und wieder aufgebaut. Der jetzige Bau entstand 1643 und wurde in den Jahren 1979-1981 renoviert.