江戸時代初期の1678年(延宝6年)、埋め立て地だったこの地を老中大久保加賀守忠朝が徳川将軍家から拝領、屋敷を造り、作庭を始めた。庭は1686年(貞享3年)に完成、「楽寿園」と命名されたが、この楽寿園が旧芝離宮恩賜庭園の起源という。楽寿園は中央に池を置いて周囲に築山や枯滝などを配して小径を巡らせた、いわゆる「回遊式泉水庭園」の典型的なもので、江戸の湾岸という立地を活かし、池は海の水を引き入れた“潮入りの池”で、潮の満ち引きによって景観が変わり、築山の頂からは海を行き交う舟を眺望することもできるように考えられたものという。
大久保氏の後は所有者の変遷があったようだが、幕末には紀州徳川家の芝御屋敷となった。明治維新後は1871年(明治4年)に有栖川宮家の所有となったものを1875年(明治8年)に宮内省が買い上げ、翌年に芝離宮となった。芝離宮は1923年(大正12年)の関東大震災で甚大な被害を被り、翌1924年(大正13年)1月、皇太子(後の昭和天皇)のご成婚記念として東京市(現在の東京都)に下賜されている。現在の庭園の名「旧芝離宮恩賜庭園」の由来である。東京市は園地を復旧、整備を施し、一般公開されたのは同年4月のことだという。