Auf dem Umlaufberg am Butschhof befinden sich Reste einer mittelalterlichen Burg, die vor knapp 1000 Jahren errichtet wurde (Irslingen trug früher den Namen Urslingen). Sie entstand zu einer Zeit, in der es für adelige Familien, die etwas auf sich hielten und die es sich leisten konnten, geradezu Mode war, ihren Wohnsitz auf eine Burg zu verlegen. Im 15. Jhd. wurde die Burg aufgegeben und verfiel, ihre Steine dienten in der Umgebung als Baumaterial, sodass nur noch wenige Original-Reste vorhanden sind. Der Sockel des vorderen Turmes (siehe Pfeil) und Teile der Mauer wurden später rekonstruiert.
Die Urslinger waren eine hochstehende adelige Familie, die eng mit den ursprünglich südwestdeutschen Staufern verbunden war. Das Reich der Staufer erstreckte sich in seiner Blütezeit von Deutschland bis Sizilien. Prominenteste Vertreter der Staufer waren Friedrich I. Barbarossa und Friedrich II., von Zeitgenossen später aufgrund seiner vielfältigen Begabungen „stupor mundi“ („das Erstaunen der Welt“) genannt. Er gilt als einer der bedeutendsten römisch-deutschen Kaiser des Mittelalters und ist bis heute Thema zahlreicher wissenschaftlicher und populärer Darstellungen. Er war hochgebildet und sprach mehrere Sprachen.
Urslinger Adelige bekleideten während der staufischen Herrschaft in Italien einflussreiche Positionen. Wie verbunden sie mit den Staufern waren, zeigt die Tatsache, dass der zukünftige Kaiser Friedrich bereits im Alter von drei Monaten in die Obhut der Herzogin von Spoleto übergeben wurde – der Frau von Konrad von Urslingen, der seinerzeit Herzog des mittelitalienischen Herzogtums Spoleto war.
Als die Herrschaft der Staufer endete, erhielt die Familie als Ersatz für das verlorengegangene Herzogtum Spoleto das Herzogtum Urslingen.
1371 übernahmen die Urslinger die Herrschaft Schiltach, die die mittlerweile verarmte Familie nur 10 Jahre später schon an die Grafen von Württemberg verkaufen musste. Wenig später, im Jahr 1442, starb das Geschlecht der Urslinger aus. Ihr Wappen wurde der Stadt Schiltach als Stadtwappen übertragen.
Der Butschhof, das Hofgut Ramstein und der Wenthof gehörten zur Burg und dienten ihrer Versorgung, ebenso wie der später aufgegebene Weiler namens Buwenhausen etwas weiter talabwärts, wo sich auch der Butschhof anfangs befand. Nach dem Niedergang der Burg wurde der Butschhof abgebaut und an seinem heutigen Platz wieder errichtet. Im 30-jährigen Krieg zerstört und erneut wieder aufgebaut, bestand das Ensemble aus mehreren Gebäuden und einer Mühle, die 1932 abbrannte.