小香蒲，多年生沼生或水生草本。
根状茎姜黄色或黄褐色，先端乳白色。
地上茎直立，细弱，矮小，高16-65厘米。
叶通常基生，鞘状，无叶片，如叶片存在，长15-40厘米，宽约1-2毫米，短于花葶，叶鞘边缘膜质，叶耳向上伸展，长0.5-1厘米。
雌雄花序远离，雄花序长3-8厘米，花序轴无毛，基部具1枚叶状苞片，长4-6厘米，宽4-6毫米，花后脱落；
雌花序长1.6-4.5厘米，叶状苞片明显宽于叶片。
雄花无被，雄蕊通常1枚单生，有时2-3枚合生，基部具短柄，长约0.5毫米，向下渐宽，花药长1.5毫米，花粉粒成四合体，纹饰颗粒状；
雌花具小苞片；
孕性雌花柱头条形，长约0.5毫米，花柱长约0.5毫米，子房长0.8-1毫米，纺锤形，子房柄长约4毫米，纤细；
不孕雌花子房长1-1.3毫米，倒圆锥形；
白色丝状毛先端膨大呈圆形，着生于子房柄基部，或向上延伸，与不孕雌花及小苞片近等长，均短于柱头。
小坚果椭圆形，纵裂，果皮膜质。
种子黄褐色，椭圆形。
花果期5-8月。
