清源山又名北山、泉山、齐云山。因为山上多清泉，故名“泉山”；又因为山位于泉州城北，因此简称为“北山”。大概是由于峰峦之间常有云霞缭绕，故有“齐云山”的别称。至于清源山的得名，与仙人铁拐李颇有渊源。传说当年铁拐李云游至此，为此山景色吸引，不禁用铁拐捅地赞叹，不料因为用力过猛，铁拐戳進了山石中，拨出后泉水涌出，从此人们就称该山为“清源山”了。

根据清乾隆时期编撰的《泉州府志·方外》记载，早在秦汉时期，就有人在清源山上隐居修行，如秦时的一个叫大道的人，就在清源山上的芭蕉洞中修行，后人因此称此地为“大道岩”。唐和五代时期，道教兴盛，一些道士在清源山上修行，比较有名的是五代的谭峭，他早年云游天下，晚年在清源山紫泽洞修行，后得道成仙。宋时有“头戴通草花，行歌于市”的裴道人和林道人在清源山修行。

早在西晋时期，清源山上就开始建有道观，以后历朝，特别是唐宋都有所增建，如老君岩上的北斗殿、真君殿、元元洞等，南台岩上的三清宫等。此外，东晋时佛教兴起，清源山上还建有寺庙，如千手岩上的千手岩寺，弥陀岩上的弥陀室。千手岩寺内有千手千眼观音士塑像，故名千手岩，也叫观音岩。

清源山除了诸多的庙宇道观外，还有大型石雕七处九尊，而且以三十六洞天、十八胜景著称，内中留有许多仙迹。比较著名的地方有老君岩、千手岩、弥陀岩、碧霄岩、瑞像岩、虎乳泉、南台岩、清源洞、赐恩岩、龟岩、九日山、灵山圣墓等。

位于清源山右峰罗山与武山下的老君岩，又称羽仙岩，因为其上有岩刻巨型老君（老子）造像而得名。据《泉州府志》记载：“石像天成，好事者略施雕琢。”石像雕于宋代，高5.1米，宽7.3米，厚7.2米。只见他端坐崖上，右手按膝，左手凭几，两眼平视，双耳垂肩，神态安详，笑容可掬。他是现存最大、年代最久的道家石雕造像。

千手岩位于清源山右峰下，在清源山正山门以北。千手岩后有弘一法师舍利塔。法师俗名李叔同，后在浙江杭州虎跑定慧寺出家。

从千手岩往上，就是弥陀岩。这里是清源山风景最佳处。有“泉窟观”“一啸台”、“岫云”、“招饮径”、“天风海月”、“一线天”等胜景。

离弥陀岩不远，就是碧霄岩。上有元代藏传佛教（喇嘛教）“三世佛”造像。佛像高3米，宽6.5米。“三世佛”有圆形头光及身光，他们并排结跏坐在莲花座上，中尊为释迦像，又称现在佛，主掌现在的世界，其造像作触地印之魔相，一手向下抚地，一手向上。左尊称为药师佛，即过去佛，主管过去的世界。他也是一手向下，一手向上，只是左掌托钵。右尊叫弥陀佛，是未来佛，作施定印之禅定相，即双手交叠置于腹部。

此外，碧霄岩沿途有“小憩亭”、“五云深处”、“小云关”、“紫泽宫遗址”、“练胆石”、“虎乳泉”、“白龙井”等许多胜迹。虎乳泉又名孔泉，因为泉水从石隙中涌出，注入一尺许见方的石孔中，味道甘甜似乳。相传古代有一母虎在此哺育幼虎，因乳汁不足，只好以泉代乳而养活幼仔，故而得名。

南台岩系一巨岩，在清源山右峰的最高处，它巍然耸立。岩台上建有寺庙，如临空中，恍如仙境。

瑞像岩在清源山左峰的天柱峰下，这里有刻于北宋元祐二年（公元1087年）的释迦石像一尊，相传佛像雕成时夜放瑞光，故名瑞像岩。佛像高4米，宽1.5米，立状，左臂下垂，掌心向外，右臂袒露作无畏手印。岩下奇石突兀，排列如群僧参禅，称为“罗汉峰”，俗称“十八罗汉朝释迦”。天柱峰周围还有狮子峰、回舶峰、莲花峰等，景色秀美。

清源洞位于清源山中峰的顶端，又名“纯阳洞”、“蜕仙岩”。传说宋时的裴道人在此羽化成仙，是故洞前有裴仙祠。

宋文人王十朋作诗《咏清源山》，诗云：