Die ersten beiden Höhlenwohnungen entstanden nach der Aufgabe der Altenburg. Zwei im Bereich der Burg bestehende Höhlen wurden zu Wohnungen ausgebaut. Eine erste Wohnung bestand hier seit 1787. In der Zeit von 1855 bis 1858 wurden dann zehn Wohnungen in den Sandsteinfelsen am Schäferberg gehauen. In Langenstein bestand eine erhebliche Wohnungsnot. Mehrere junge Familien aus Langenstein und aus dem Raum Goslar stammende Arbeiter des Gutes benötigten dringend Wohnraum. Eine Bitte des Dorfschulzen Hinze an den Landrat Gustav von Gustedt, die Gemeinde bei der Schaffung von Wohnraum zu unterstützen, wurde abgelehnt. Der Gemeinderat entschied darauf hin, dass die Möglichkeit zur Schaffung von Höhlenwohnungen gegeben werden soll. Den Bauwilligen wurden die Felswände für jeweils acht Groschen verkauft.
Die Arbeiten wurden durch die Wohnungssuchenden mit Hammer, Spitzhacke und Meißel ausgeführt und dauerten zwischen zwei und fünf Monaten. Die kleinen, etwa 30 m² großen Wohnungen hatten ähnliche Zuschnitte und verfügten jeweils über Wohnzimmer, Schlafzimmer, Kinderzimmer und einen Vorratsraum. Durch den Felsen nach oben führen Schornsteine, unter denen sich ursprünglich gemauerte Herde befanden. Einzige benötigte Baumaterialien waren jeweils eine Tür und ein Fenster. Die Trennwände zwischen den Räumen wurde von stehen gebliebenem Fels gebildet. Natürliches Licht hatten nur die vorderen Räume. Spalte über den Türen und die Schornsteine sollten eine Luftzirkulation ermöglichen, die das Entstehen von Schimmel und Feuchtigkeit an den Wänden verhindern sollte.
Oberhalb der Höhlen lagen Weideflächen. Durch die Beweidung mit Schafen und Ziegen, sollte eine Verbuschung und Baumbewuchs unterbunden werden. Es gab den Spottvers: In Langenstein, in Langenstein, da schieten de Schaape in Schornstien rein!
Eine der Wohnungen wird als Schmidthöhle bezeichnet. Links des Eingangs befindet sich eine Gedenktafel mit den Lebensdaten der Eheleute Karoline (1825–1909) und Ludwig Schmidt (1829–1910), die hier lebten. Ludwig Schmidt war als Drehorgel-Spieler tätig.
