唐朝长安元年（701年），一个叫慧云的僧人想将一尊弥勒佛像放在开封安业寺内，遭到安业寺僧人的反对。于是慧云募得款项，买了一块地准备建造新的寺院。不料在施工时，挖掘出了建国寺的石碑，方知该地是建国寺的旧址，遂将新寺仍命名为建国寺。唐延和元年（712年），睿宗李旦为了纪念自己由相王即位当上皇帝，将建国寺更名为“相国寺”，并亲自书写了“大相国寺”的匾额。

相国寺的鼎盛时期是在唐宋两朝。在北宋时，它已经成为全国最大的佛教寺院，占地500余亩，辖64个禅院、律院，有1000多僧人。其建筑“金碧辉映，云霞失容”。当时寺内的住持都由皇帝赐封。皇帝平日巡幸、祈祷、恭谢以至進士题名也多在此举行，所以相国寺又被称为“皇家寺”。

北宋灭亡后，相国寺亦遭到破坏。明代黄河水灾泛滥，位于黄河边上的开封自然常受侵扰，相国寺也受到了水患。虽然明代也多次修葺，但气势规模已经不如唐宋。如今的相国寺建筑主要为清代修建的，布局严整，殿宇巍峨壮观。

相国寺内主要殿宇有天王殿、大雄宝殿、八角殿、藏经楼等。八角殿内有一尊千手千眼观音像，是用一棵巨大的银杏树木雕刻而成。佛像高七米，四面都雕有千手千眼观音像，并且全身贴金，全国罕见。

据说，《水浒传》中“鲁智深倒拔垂杨柳”的事就发生在这里。