史料记载，公元前3世纪，统一印度的印度孔雀王朝国王阿育王皈依佛教，并大肆弘扬佛法。他不仅派遣僧侣四方传播佛教，还取出王舍城大宝塔阿阇世王分得的佛陀舍利，分成八万四千份，“令羽飞鬼，各随一光尽处，安立一塔。”这些舍利塔因系阿育王下令建造，故称“阿育王塔”，共建造了8万4千座，其中中国拥有19座。鄞县五乡镇阿育王寺中的舍利塔是目前中国唯一保存下来的。

传说，在西晋太康三年（282年），著名僧人刘萨诃（慧达）云游到此，发现了一座释迦牟尼佛真身舍利塔，塔四方五层，高约尺四，方广七寸。刘萨诃遂在此修行并结茅供养。唐名僧道宣《感通传》载此传说：晋太康二年，惠达（即慧达）东诣鄮县，入乌石岙，结茅以寓，遍访海涘名山。忽一夜闻土下钟声，即标志其处。越三日，见梵僧七人，行道空中，地形如涌，为方岩状（即涌现岩），神光照映，因刨土求之，得一石函，中有舍利宝塔。六僧腾空而去，一僧化为乌石，因以名岙焉。

东晋义熙元年(405年)，晋安帝敕建塔亭和禅室，并派27名僧人守护。南朝宋元嘉二年(425年)，宋文帝下旨建三级木浮图，并创建殿宇及塔寺，阿育王寺初具规模。梁武帝时期，大兴佛教。普通三年(522年)，梁武帝赐寺名为“阿育王寺”，并扩建寺院。自此，阿育王寺名扬天下，成为信徒朝拜之所。

唐朝天宝三年（744年），高僧鉴真第三次东渡日本失败后，暂时寄居在阿育王寺，并在此讲授佛法，众多信徒纷纷来此听法。唐中宗时，阿育王寺進入初盛时期。会昌时期，唐武宗灭佛，舍利塔被藏于越州官库中，后被重新安置在阿育王寺中。懿宗咸通时期，当地官员上奏称舍利塔发出异光，认为是国家祥瑞之兆，懿宗下令派27名僧人守护。北宋大中祥符元年（1008年），阿育王寺被定名为“阿育王山广利禅寺”，是时“法席鼎盛，名播天下”。阿育王寺走入鼎盛时期。

元朝建立后，元世祖遣使将舍利塔迎奉到开平府华严寺暂时供奉，并下令修缮阿育王寺，其后又将舍利塔送回。明洪武十五年（1382年），明太祖为赐名阿育王寺为“阿育王禅寺”，册封其为天下禅宗五山之第五山。万历时期，阿育王寺得以修缮和再次扩建。清初，阿育王寺的佛殿毁于火灾。现存寺庙是清康熙十九年(1680年)重修的。

名寺出名僧。在阿育王寺中修行的僧人中不乏高僧。比如最早发现舍利塔的僧人刘萨诃和北宋时期的大觉禅师怀琏等。

如今留存的阿育王寺占地8万多平方米，建筑面积约2万多平方米，有房屋600多间。因寺前有形似笔架的玉几山，好象是五只凤凰伸向寺院，故有“天童（寺）是九江捧珠，阿育王是五凤朝阳”。

進入山门，沿中轴线上依次分布着天王殿、大雄宝殿、舍利殿、藏经楼；东侧则有钟楼、念佛堂、客堂、先觉堂、大悲阁；西侧为大坛、祖师殿、傅宗堂、碑阁、方丈室(承恩堂)等建筑。此外，还有养心堂、退居室、引堂寮、拾翠楼、朴青阁、白云竹院、普国塔院等殿堂楼阁。

上述建筑中最为著名的当属舍利殿了，为其它寺院罕见。它高15.3米，面阔5间，在殿外檐间方形额上是由宋孝宗题写的“妙胜之殿”四字。殿内正中上悬竖额书“佛顶光明之塔”，乃是宋高宗的笔墨。殿正中是高约7 米的石塔，内放置七宝镶嵌的“舍利放光”之木塔。石塔后面供置着长约4 米的释迦牟尼佛卧像。殿后还有长约2 米，宽约1.5米的“母乳泉”。

除了阿育王寺内的建筑，佛寺周围亦有佛迹岩、佛迹亭、仙书岩、上塔、下塔（合称般若塔）等佛迹。