この寺が有名であるのは何より、「東海道五十三次」で著名な初代安藤広重が描いた「山桜図」が残っていることだろう。1834年（天保5年）から1840年（天保11年）までこの寺の住職を勤めた第二十六世立誉了信上人の代に、本堂内陣と下陣の間の杉戸に左右四面ずつの八面に山桜が描かれたもので、初代安藤広重の傑作とされているのだそうだ。第二十六世立誉了信上人は安藤広重の弟であったとされており、その関係から了信上人が住職を勤めていた時期に描かれたものだと言われているということだが、広重の先妻の兄説など他にも諸説あるらしい。

この山桜図は1928年（昭和3年）、詩人野口米次郎によって発見され、東京朝日新聞に紹介されたものだが、現在は保存のために一般公開はされていない。この山桜図は神奈川県の重要文化財に指定されている。

永享の乱（1438〜39）に関東管領上杉氏によって築かれたとされるが正確な築城年代は不明。

文明八（1476）年十二月、関東管領山内上杉氏の家宰職の相続をめぐり、長尾景春が武蔵鉢形城で挙兵し、翌文明九（1477）年正月、武蔵五十子城の上杉氏本陣を襲ってこれを敗走させた（長尾景春の乱）。この乱に乗じて挙兵した武蔵石神井城の豊島泰経に対し、扇谷上杉氏家宰職の太田道灌は江古田・沼袋合戦で豊島氏を破り、四月二十八日には本拠の石神井城を落城させた。泰経はその後、武蔵平塚城に敗走するが、翌文明十（1478）年一月二十五日、平塚城も陥ち、泰経は小机城に敗走した。小机城では豊島一族とそれらを庇護した小机弾正らが籠城、約二ヶ月に渡り太田道灌ら関東管領軍と対峙する。亀之甲山に陣城を築いた道灌は四月十一日、小机城を攻め陥とし、一時廃城となった。その後北条氏の進出で、「小机衆」編成の拠点として氏綱の重臣・笠原越前守信為や北条氏の氏秀、氏堯らの支配下となったが、天正十八（1590）年の北条氏滅亡後は家康の関東入封にともない廃城。