1、对蛋白质过敏的人。蛋白质过敏主要是由于食物中的某些物质（通常是蛋白质）进入了体内，被免疫系统当成入侵病原，免疫系统便释放出一种特异型免疫球蛋白e，并与食物结合生成许多化学物质，造成皮肤红肿、经常性腹泻、消化不良、头痛、咽喉疼痛、哮喘等过敏症状，而香榧就是高蛋白质食物，如有蛋白质过敏的话，是不适合吃香榧的。
2、易上火人群。香榧子一种高油脂、高热量的坚果，每100克香榧中的油脂含量可高达50%，提供热量618大卡，人体食用之后会加重体内的火气，而易上火或本身体内火气较重的人群，食用过量的香榧很容易加重牙龈肿痛、口腔溃疡、皮肤长痘等上火症状。
3、肝病患者。香榧中含有大量的脂肪油成分，肝病患者代谢脂肪能力较差，若是食用了大量的脂肪类食物，无法及时代谢，会加重肝脏的负担，从而可能会导致病情加重，所以建议患有肝炎、重度脂肪肝患者最好少吃香榧。
4、胆囊切除的人。香榧中含有大量的脂肪成分，它需要胆囊分泌胆汁进行代谢，而胆囊切除患者储存胆汁的功能丧失，食用香榧这类脂肪高的食物无法及时进行分解代谢，可能会容易引起腹胀、恶心等消化不良症状，所以做了胆囊切除手术者建议少吃香榧。