传说这种茶树是牡丹花变成的。在西汉时期，有位名叫毛义的太守，清廉刚正，因看不惯贪官当道，于是弃官随母去深山老林归隐。母子俩骑白马来到一座青山前，只觉得异香扑鼻，于是便向路旁一位鹤发童颜、银须垂胸的老者探问香味来自处。

老人指着莲花池畔的十八棵白牡丹说，香味就来源于它。母子俩见此处似仙境一般，便留了下来，建庙修道，护花栽茶。一天，母亲因年老加之劳累，口吐鲜血病倒了。毛义四处寻药，正在万分焦急、非常疲劳睡倒在路旁时，梦中又遇见了那位白发银须的仙翁，仙翁问清缘由后告诉他：“治你母亲的病须用鲤鱼配新茶，缺一不可。”毛义醒来回到家中，母亲对他说：“刚才梦见仙翁说我须吃鲤鱼配新茶，病才能治好。”母子二人同做一梦，认为定是仙人的指点。这时正值寒冬季节，毛义到池塘里破冰捉到了鲤鱼，但冬天到哪里去采新茶呢？ 正在为难之时，忽听得一声巨响，那十八棵牡丹竟变成了十八棵仙茶，树上长满嫩绿的新芽叶。

毛义立即采下晒干，说也奇怪，白毛茸茸的茶叶竟像是朵朵白牡丹花，且香气扑鼻。毛义立即用新茶煮鲤鱼给母亲吃，母亲的病果然好了，她嘱咐儿子好生看管这十八棵茶树，说罢跨出门便飘然飞去，变成了掌管这一带青山的茶仙，帮助百姓种茶。后来为了纪念毛义弃官种茶，造福百姓的功绩，建起了白牡丹庙，把这一带产的名茶叫做“白牡丹茶”。