传说当年杨二朗担山撵太阳，最后一个瘸腿的太阳因奔跑不动，躲在这山下，由此被称作"避阳山"。山上盛产一种叫"紫柴胡"的中草药，每年夏秋之际，各地药农中有人叫它"紫阳山"，顺口又好记，久而久之，紫阳山就这么被叫开了。
这紫阳山还有一个动人的故事相传至今。
淮河两岸农家有大清早拾粪的习惯。这年初冬的一天清早，天刚蒙蒙亮，紫阳山下小朱庄的朱老汉背着粪箕、挟着粪铲和往常一样庄前庄后的拾粪。忽然，看见紫阳山半山腰不断闪着金光，远远看去像是有位女子在赶驴推磨。朱老汉纳闷，这一大清早谁家女子在半山腰推磨呢？不由向闪光处走去。走了好大一会，才近得跟前。原来是一位貌若天仙的年轻女子赶着一头晕身闪为光的大马拉磨，磨眼上一小堆黄豆。朱老汉在一旁看得眼发花，那女子见朱老汉盯着磨盘傻看，没有吱声，只是朝老汉笑了笑，算是打了招呼，便顺手舀了一瓢黄豆给朱老汉。朱老汉忙撩起长袍接着，顺手将长袍一角掖在腰带上。那女子继续埋头干活，再不搭理朱老汉。朱老汉谢了一身，转身回村去了。
回到家，他把刚才见到的奇事和家里人一说，谁也不相信，认为他是编故事逗大家。朱老汉急了，生气地说："不信，你们看我兜里的黄豆。"朱老汉拽下掖在腰带上的长袍一看，里面还剩有几粒，因为朱老汉一开始就没把黄豆当一回事，一路走来基本上掉光了。儿媳眼尖手快伸手抓了一粒，一看黄豆金光闪闪，惊叫起来："妈呀，是金豆子！"这一叫，全家人都围了过来看，齐说："是金豆子。"于是都弯下身在地上找豆子来，找了半天，一共只有八烂豆子。儿子问老汉："那仙女给你多少豆子？"朱老汉说："给了一瓢，""我的天哪，都掉在跑上了。"老伴和儿媳同时叫了起来："快回去找。"
朱老汉全家一齐出动，睁大眼睛弯着腰顺着朱老汉回家的路找起了金豆子。村里人不知朱老汉一家发什么神经病，一问才知找金豆子，也都一同跟着找。可是这么多人从村口一直找到山上也没找着一粒金豆子，也没看见仙女拉金马磨金豆子。大家都怀疑朱老汉讲的事是假的，可是朱老汉确实有八粒金豆子。以朱老汉的家底子哪能有什么金豆子呢？
朱老汉遇着仙女得了金豆子的故事，不胫而走，传遍了十乡八镇。从那时起，每天天不亮就有很多人往紫阳山上跑，但谁也没有再遇上仙女拉金马磨金豆子的美事。
紫阳山下的紫阳镇有个姓范的老财主，贪得无厌，听到这金豆子的事，就一心想得到金马、金磨、金豆子。他派人昼夜看守山间，不准任何人上山，连放牧的牧童也不准上山，还常常亲自在山上看守。
一天，正当这范老财亲自守山，半夜里，忽然乌云翻滚，雷电交加，大雨滂沱，他躲在一道山崖下。他的眼圆睁睁注视着周围，忽然一道闪电照亮夜空，半山腰现出一个一丈见方的大洞，洞中金光闪闪，一个美貌的女子端坐在金磨前，一匹高大的金马拉磨，磨着金豆子。范老财顿时来了精神，不顾一切拼命向山洞奔去。冲进洞里伸手去拉那匹金马。这时一声巨响，山动地摇，一块巨大的石头从天而降，堵住洞口。从此，人们再也没见到范老财。
