史料记载，东晋时的印度僧人慧理来到杭州，看到这里景色秀美，认为是“仙灵所隐”，故在此建寺，以“灵隐”为寺名。五代时吴越国王钱椒崇信佛教，因此广建寺宇，灵隐寺也被扩建，当时有九楼、十八阁、七十七殿堂，僧众三千，成为当时的江南名刹。北宋时，有人品评江南诸寺，灵隐寺被列为禅院五山之首。清康熙南巡时，曾来到灵隐寺，并赐名为“云林禅寺”。现在天王殿前写有 “云林禅寺”的巨匾，就是当年康熙皇帝的“御笔”。不过，因为灵隐寺已名扬天下，人们依旧称云林禅寺为灵隐寺。灵隐寺自创建以来，毁建10余次。如今人们看到的灵隐寺，是在清末修建的基础上修葺而成的。

与江南其他寺院的格局相仿，灵隐寺的主要建筑都建在中轴线上，依次为天王殿、大雄宝殿、药师殿。走入山门，首先進入的就是天王殿。天王殿前左右各有石经幢一座，两经幢都有《天下兵马大元帅吴越国王建，时大宋开宝二年已巳岁闰五月》题记。天王殿里正中面朝山门供奉着弥勒佛像，其身后站着手执金刚杵的韦驮菩萨，像高二米半，头戴金盔，身裹甲胄，神采奕奕，为南宋遗作；两侧是四大天王高各八米，其中两个形态威武，两个神色和善，俗称四大金刚。

天王殿后是大雄宝殿，原称觉皇殿。其前月台两侧各有一座八角九层仿木结构石塔，塔高逾七米，塔身每面雕刻精美，乃是吴越末年雕造的。大雄宝殿呈长方形，高33.6米，大殿正中是一座高24.8米的释迦牟尼莲花坐像，造像“妙相庄严”、“气韵生动”，是中国最高大的木雕坐式佛像之一。正殿两边是二十诸天立像，殿后两边为十二圆觉坐像。大殿后壁有“慈航普渡”、“五十三参”海岛立体群塑，共有佛像150尊，正中为观音立像，手执净水瓶，普渡众生；下面的雕塑内容讲述的是善财童子拜观音的故事。观音两侧是善才童子与龙女，其上有地藏菩萨的雕像，再上面是释迦牟尼雪山修道的场景。

大雄宝殿后为药师殿，殿中供奉着药师佛像及日天、月天。大殿左侧，有陈列着五百罗汉像线刻石的罗汉堂。灵隐寺中还珍藏着如贝叶写经东魏镏金佛像、明董其昌写本《金刚经》的等珍贵文物。

在灵隐寺旁的飞来峰上，有青林洞、玉乳洞、龙泓洞、射阳洞等石窟，内有五代至宋、元年间的石刻造像330余尊，一些造像具有较高的艺术价值，比如玉乳洞内的一尊天冠观音造像。

灵隐寺中最著名的和尚要属济公了。关于他扶危济贫、惩恶扬善的故事因了同名电视剧的原因，已是家喻户晓。就说飞来峰吧，传说它飞来飞去到处害人，但是它却永远的留在了杭州这个地方，就是因为济公叫人在山上凿了五百罗汉，把它镇住了。

唐代诗人宋之问曾作《灵隐寺》一诗，诗曰：

果真如此啊。