De voormalige oranjerie van de buitenplaats Rusthof staat op de hoek van het Oosteinde en de Prins Albertlaan. De 18e-eeuwse buitenplaats Rusthof bestond uit een herenhuis, koetshuis, stallen, een overtuin met oranjerie, tuinmanswoning, schuur en kassen. De oranjerie werd gebouwd tegen de stal van een oudere 17e-eeuwse boerderij, genaamd Onder de Linden. Het restant van die boerderij bevindt zich nog steeds achter het hogere bouwdeel. Hoewel vrijwel alle gebouwen van Rusthof in 1911 werden afgebroken, bleef de oranjerie behouden.
In 1848 kocht prinses Marianne de buitenplaats Rusthof. Zij woonde hier samen met haar zoon Johannes Willem, wiens vader haar voormalige lakei en later bibliothecaris Johannes van Rossum was. Marianne verbleef op Rusthof tot haar overlijden en heeft veel betekend voor Voorburg. De bovenverdieping van de oranjerie werd in haar tijd als kantoor gebruikt.