「へつり」とは聞き慣れない言葉だが、この地方の方言だそうだ。「河に迫る断崖」を意味するとも、「崖伝いの険しい路」のことであるとも、「崖伝いに歩くこと」であるとも、さまざまな記述を目にする。おそらく、そのすべての意味を含む言葉なのだろう。「へつり」は本来は「岪」(山冠に弗)と書くのだが、この文字が「JIS X 0208」規格に含まれない漢字であり、何より“難読漢字”であるために、通常はひらがなで表記されている。
「塔のへつり」とは、だから河岸の断崖が「塔」を思わせる形状で幾筋もそそり立った特異な景観から名付けられたものだ。「岩石、鉱物及び化石の産出状態」、「風化及び侵蝕に関する現象」が指定基準となって1943年(昭和18年)に国の天然記念物に指定されている。その景観を生んだ阿賀川は、この辺りでは大川とも呼ばれ、幾筋もの支流を集めて新潟へ流れ、阿賀野川と呼ばれるようになる、あの河川の本川、上流部である。