公園のある辺りにはかつては水田が広がっていたという。1973年(昭和48年)頃になって不動産業者による水田の買収が進んだが、東村山市はこの地区の自然環境を保存するために水田地帯を公園として整備することを計画、土地を不動産業者から買い戻し、残っていた土地も地主から譲り受けた。1976年(昭和51年)1月には市の都市計画公園として「北山公園」の整備が決定、1976年度(昭和51年度)から公園の造成が始まっている。公園内には花菖蒲園を設けて花菖蒲が植えられた。以降、花菖蒲園は規模を拡大、1981年(昭和56年)には40種、3万本を超えた。翌年には「新東京百景」のひとつに選定され、北山公園の花菖蒲は知名度を高めてゆき、来園者も増えていったという。「第1回北山公園菖蒲まつり」が開催されたのは1989年(平成元年)のことだそうだ。