「広園寺入口」交差点から近づいて行くと、白壁の塀に囲まれた杉木立の佇まいが美しい。南側の通用門の傍らには寺についての解説を記した案内板などがあり、「座禅会」のお知らせの掲示などもあるが、一歩境域に足を踏み入れるとその荘厳な雰囲気に圧倒される。寺の周囲は住宅街だが、寺の境域は世俗からは完全に隔てられた静寂が漂っている。右手には杉木立の林があり、静かな佇まいが町中の喧騒を忘れさせてくれる。右手奥には鐘楼があり、左手には山門、仏殿などが並ぶ。奥に見える林の緑もまた美しく、境内の凛とした空気は歴史の重みを見せてくれるようだ。八王子の中心街に近い住宅街の一角にこれほどの寺が残っていること自体、驚異的と言えるかもしれない。

広園寺は、1389年（康応元年）に甲州塩山向岳寺の峻翁令山を招いて開かれた臨済宗の寺で、開基は寺伝によれば大江備中守師親であるというが、他説には片倉城主長井道広であるともいい、詳細は明らかではないらしい。創建後、関東管領足利満兼によって300町歩（約300ヘクタール）の土地が寄進されたという。1405年（応永12年）に禅書「無門関」が刊行されたことでも知られている。

1590年（天正18年）の豊臣秀吉の小田原攻めの際には豊臣方の八王子城攻めの巻き添えとなり、兵火に遭って諸堂は消失したが、1591年（天正19年）には徳川家康によって15石の朱印を受け、再興を命じられたという。現在見ることの出来る建造物はそれ以後の再建によるもので、1804年〜1817年の文化年間に再建された諸堂が今も残る。

総門、山門、仏殿が南北に一直線上に並び、その奥に丘陵を背後に開山堂、庫裏、本堂が東西に並ぶという伽藍配置は典型的な臨済宗の寺の様式であるという。広園寺境域全体が東京都の史跡に指定されており、総門、山門、仏殿、鐘楼は東京都の重要有形文化財に指定されている。本堂の裏手の庭園は丘陵の斜面を利用した名園として著名だということだが、現在は残念ながら一般の拝観は許されていない。