日本小檗的叶子薄纸质，倒卵形、匙形或菱状卵形，长1-2厘米，宽5-12毫米。
日本小檗的茎刺单一，偶尔三分叉，长5-15毫米。
日本小檗的花2-5朵组成具总梗的伞形花序，或近簇生的伞形花序或无总梗而呈簇生状。
日本小檗一般高约1米。