历代关于灵芝仙草的产地之传说也是象其名字一样神奇：秦时传说灵芝是“东海祖洲上的不死草”；楚辞中则说是巫山，所以有“采三秀兮于巫山间，石磊磊兮葛蔓蔓”； 《神农本草经》则说五岳生五芝，“青芝生泰山，赤芝生霍山，黄芝生嵩山，白芝生华山，黑芝生常山。”；清代李汝珍的《镜花缘》第五回上官婉云“灵芝产自名山，乃神仙所服，因其每岁三花，又名三秀”。

《神农本草经》根据中医阴阳五行学说，按五色将灵芝分为青芝（龙芝）、赤芝（丹芝）、黄芝（金芝）、白芝（玉芝）、黑芝（玄芝）五类，即称五芝。此外附紫芝（木芝）。该书详细地描述了此六类灵芝的产地、气味、和主治。指出：青芝“酸，平，无毒”，可“明目”，“补肝气，安惊魂，仁恕”；赤芝“苦，平，无毒”，主治“胸中结”“益心气，补中，增智慧，不忘”；黄芝“甘，平、无毒”，主治“心腹五邪”，“益脾气，安神，忠信和乐”。白芝“辛，平，无毒”，主治“咳逆上气”，“益肺气，通利口鼻，强志意，勇捍、安魄”；黑芝“咸，平、无毒”，主治“癃”，“利水道，益肾气，通九窍，聪察”；紫芝“甘，温（平），无毒”，主治“耳聋”，“利关节、保神、益精气，坚筋骨，好颜色”。还强调此六种灵芝均可“久食轻身不老，延年神仙”。《神农本草经》中对灵芝的这些论述，被其后的历代医药学家尊为经典并引证，沿用至今。明朝李时珍编著的《本草纲目》中亦说灵芝能“益心气，增智慧，久食轻身不老，延年神仙。”