遗传不同绒山羊品种的遗传特性是绒毛生长最主要的影响因素，在次级毛囊的发育和活动、绒毛生长周期对长度以及生长强度方面起到决定作用。产绒量较低的基础羊群，要积极引进优质种公羊进行杂交改良。选择产绒量比较高、体形较大、结构匀称、背腰平直、胸宽而深、被毛整齐光亮、四肢结实、雄性强、睾丸发育良好的公羊做种用。
生态地理羊绒的生长与生态环境（光照、温度、湿度、降雨、海拔、地形等）关系密切。温度和湿度是影响羊绒产量和品质的两大因素，羊绒会随着海拔高度的增加而变细变短。另外，环境可以通过影响饲料条件，间接影响羊绒品质和产量。在生态地理因素中，纬度、经度、海拔主要决定地区水热条件的水平地带规律和垂直地带性规律。这3个重要生态因素决定不同地区的气候环境和水、热、光照以及植被类型。在这些因素的长期综合作用下，决定了分布在特定地区绒山羊绒毛生长的环境条件，尤其是温度条件对绒毛生长的影响最为重要。据报道，高气温能使羊绒变细，产绒量下降；低气温使产绒量增加，羊绒变粗。光照对羊绒生长影响的机理是通过对体内生理状况的改变和对内分泌系统的调节而起作用。在非长绒季节，通过人工改变光照环境的手段，也可不同程度地诱发山羊长绒。
生理性别、年龄和生理状态是影响绒毛生长的主要生理因素。一般而言，成年公羊的绒毛生长要优于成年母羊，去势后的羯羊要优于未经去势的公羊，妊娠母羊要优于空怀母羊，怀单羔的母羊要优于怀双羔的母羊，而1周龄的育成母羊和公羊相差不大。育成羊的绒毛生长强度通常是成年羊的65%左右，而2岁的后备羊通常是成年羊的80%左右，3岁~5岁是绒山羊绒毛生长强度最旺盛的时期，6周龄以后逐渐下降。此外，由于疾病、应激、流产、采精过度等因素所造成的生理伤害都能直接影响绒毛的正常生长。