寛永年間(1600年代前半頃)まで、この辺りは一面の葦原だったという。江戸時代になってからは将軍家の鷹狩場として使われていたが、1654年(承応3年)、四代将軍家綱の弟であり甲府藩主であった松平綱重がこの場所を拝領し、埋め立てて屋敷を建て、甲府藩下屋敷とした。下屋敷は「甲府浜屋敷」、「海手屋敷」などと呼ばれたそうである。1709年(宝永6年)、松平綱重の子、徳川家宣が六代将軍になったのを機に、甲府浜屋敷は将軍家の別邸となり、改修が施され、名も「浜御殿」と改められた。以後、浜御殿は歴代将軍によって改修や造園が重ねられ、現在の姿になったのは十一代将軍家斉の頃だそうだ。家斉は浜御殿に設けられた鴨場での鷹狩りを好み、幾度も訪れていたそうである。