潭柘寺始建于公元265至316年的晋代，当时被称为“嘉福寺”，其历史比北京城还要悠久，所以有“先有潭柘，后有幽州（北京）的说法；唐朝时更名为“龙泉寺”，金时称为“大万寿寺”，明朝天顺元年（1457年）复名为“嘉福寺”。清康熙年间在对其進行大规模修葺后，于康熙二十一年（1692年）更名为“岫云寺”。不过，因为寺后有龙潭，寺旁有柘树，民间又称为“潭柘寺”，并以此名最终扬名天下。不过，柘树在明代就已经消失了。

目前潭柘寺遗留的建筑多为明、清时修建的，部分保留了金、元时期的风格。现有房舍943间，据说在清朝的鼎盛时期有999间半。

同中国诸多寺庙建筑一样，潭柘寺的建筑也遵循着中国古建筑的美学原则：以一条中轴线纵贯当中，设置有主要的殿堂，左右两侧基本对称，分别安置了一组组庭院式或佛殿式建筑。主要建筑形式有殿、堂、阁、斋、轩、亭、楼、坛等。

走進山门，沿中轴线前行，首先来到的是天王殿。殿内中央供奉的是弥勒佛，两旁是神色各异的四大天王像，殿后站立的是身披铠甲、手持降魔杵的护法神韦驮。天王殿后是大雄宝殿。殿内中央供奉的是释迦牟尼佛像，左右分别是阿难尊者和迦叶尊者像。佛像金碧辉煌，形像生动。大殿的屋脊两端有碧绿的琉璃鸱吻，高2.9米，气势轩昂，据说是用来避免火灾的。中轴线上最后一处、也是最高的建筑是毗卢阁，分为上下两层。阁前有两棵高大的银杏树，东边的据说已经有一千多年的历史。

潭柘寺西侧建筑包括梨树院、写经室、戒坛、大悲坛、观音殿、龙王殿等，其中的观音殿是元世祖忽必烈的女儿妙严公主修行的地方。

东侧建筑则由方丈院、延清阁、清朝帝后的行宫万岁宫等组成。

从寺院建成之日起，就有僧人在此修行，以后历代不衰，有难以数计的僧人在这里修行。比较著名的有金时的海云禅师、通理禅师、故了公禅师，元代的妙严大师等。

潭柘寺外还有上下塔院、东西观音洞、安乐延寿堂、龙潭等众多的建筑和景点。在下塔院内有圆形或密檐砖石塔四十八座，为金、元、明时期寺内著名僧人的墓塔。年代最远的是金天眷年间（1138-1140）的海云禅师塔、大定年间（1161-1189）的通理禅师塔。最有名的墓塔是“妙严大师塔”。妙严大师是元世祖忽必烈的女儿，人称妙严公主，她一直在寺中修行，直到圆寂。其塔为六面六角，共有五层，高约5丈5尺。最有特色的墓塔是明代的底哇答思大师塔。整座墓塔全部用汉白玉、大青石和花岗石雕刻而成，在青灰色之中，间有红色和白色，塔前立有一块不大的石碑，记述了底哇答思大师的生平。上塔院分上、下两层，分别有藏式均为砖石塔十座和十三座，均为清朝僧人墓塔。

而龙潭在寺后的集云峰上，潭中曾有龙出没。不过，现在泉水已经干涸。

潭柘寺春夏秋冬各自有景，早晨晚上的情趣也各异，早在清代，“潭柘十景”就已经名满京华。