1、孕妇、哺乳期妇女及婴幼儿

因为桂花茶具有刺激性和收敛性质，可能对孕妇、哺乳期妇女及婴幼儿的身体造成不好的影响。制作桂花茶时可添加一些红枣、枸杞、玫瑰花等温和的滋补食材，但并不能完全解决以上身体群体不宜饮用的问题。

2、肝肾功能受损者

桂花茶能够促进身体的内分泌系统调整，但如果肝肾功能受损的人群饮用过多，可能会对身体造成一定的负担。有肝肾疾病的患者，据医生建议选择具有清热解毒作用的茶饮，以避免对身体造成伤害。

3、高血压及低血压患者

桂花茶亦具有调节血压的作用，饮用适量能够帮助身体达到平衡状态。但过多饮用时会使血管收缩，使得高血压患者的血压更加偏高。而低血压患者则由于血管过度收缩，血液循环不畅，出现头昏眼花等情况。所以这两类患者应该注意控制饮用量。

4、过敏体质者

桂花茶中含有多种活性成分，较为常见的是挥发油，会对某些人群的身体产生过敏反应，以致出现疹子、过敏性皮炎等肤病症状。对于已知自己对某些食物或饮品过敏的人士，应避免饮用桂花茶以及使用相关食材，避免不必要的危害。