鼓山涌泉寺前有一对千佛塔，原是城门镇梁厝村龙瑞寺的宋元丰五年（1082）文物，分别矗立在龙瑞寺“塔院”的东西两边。东边的叫“庄严劫千佛宝塔”，简称“东塔”；西边的称“贤劫千佛宝塔”，简称“西塔”。两塔均陶制，仿木楼阁式结构，8角9层，高8.3米同，座径1.2米，双层须弥座，宝葫芦塔刹。塔用陶土分层雕塑烧制，榫卯拼接，自下而上，逐层收窄，塔身施绀青色釉。两座塔壁各贴有捏塑坐佛1038尊，八角塔檐各另有佛像72尊，塔檐翘角下各悬挂72枚陶制风铎。塔座雕饰有狮子、力士和花卉图案。“东塔”座刻字：“当山比丘造乾恭潦四恩、三有、法界含生，时发诚心敬造庄严千佛宝塔一座，安于大殿前，永为四众瞻礼，然愿当值。时元丰五年，岁次壬戌年谨识。监院僧若观、住持传法、沙门载文、匠人高成。”“西塔”座刻字：“闽县永盛里清信弟子郑富与室中谢三十一娘，各为四恩、三有、法界含生同发心敬造贤劫千佛宝塔一座，舍入龙瑞院大殿前，永充供养。然愿今生宿世罪业消除，合家男女新妇孙侄等，现处当来，善牙增长，次希有情俱沾利乐。时大宋元丰五年，岁次壬戌十月初一日谨识。缘化僧若观、劝首住持传法、沙门载文、匠人高成。”“四恩”是：父母恩、众生恩、国王恩和三保恩。“三有”是：本有现生之身心；当有未来之身心；中有有有与未有之间所受身心。“法界含生”是：一切含有生命者。清代谢章铤有《龙瑞寺塔歌》跋曰：“塔久似有欲倾之势，然左望则倾右；右望则倾左，不知何故也。”竟成千古之谜。上世纪40年代，日军沦陷福州，曾击断相轮塔刹，并盗窃镇塔之物。据说像这样的陶塔，全国惟闽侯雪峰寺和梁厝龙瑞寺有过，但雪峰的陶制双塔早已毁坏，惟有龙瑞寺的陶塔成为“孤件”。1961年被列为省级文物保护单位。1972年，被移到鼓山涌泉寺的天王殿前。原坏宝葫芦塔刹和陶制铃铎由长乐陶瓷厂新烧制补齐。2001年7月，被列为全国文物保护单位。