Het pand waarin de Kunstuitleen Voorburg is gevestigd aan de Herenstraat heeft een lange bouwgeschiedenis die teruggaat tot de 18e eeuw. Het maakt deel uit van de historische lintbebouwing in het oude dorpscentrum van Voorburg, waar in die periode kleinschalige woonhuizen en ambachtspanden verrezen op smalle percelen met diepe achtererven. Het is dan ook één van de smalste panden in de Herenstraat.
De huidige gevel en indeling zijn het resultaat van meerdere verbouwingen in de 19e en 20e eeuw, waarbij het pand werd aangepast aan wisselende functies in een steeds veranderende dorpskern.
Van oorsprong had het gebouw een woon- en mogelijk ook kleinschalige bedrijfsfunctie, zoals gebruikelijk was in deze straat, waar wonen en werken vaak onder één dak plaatsvonden.
Binnen is de oorspronkelijke structuur deels behouden, met houten balklagen en een indeling die nog verwijst naar het 18e- en 19e-eeuwse gebruik als woon- en mogelijk bedrijfsruimte.
In de loop van de 20e eeuw werd het pand verder getransformeerd en uiteindelijk in 1982 in gebruik genomen als locatie voor de Kunstuitleen Voorburg. Daarmee kreeg het historische huis een nieuwe culturele bestemming, terwijl de oorspronkelijke structuur van het 18e-eeuwse perceel nog steeds herkenbaar aanwezig is.
