王袆先祖王彦超,五代吴越王钱镠时,任越州节度使,因避乱而从会稽(今绍兴)迁到义乌,居住于凤林乡。以后子孙渐多,所居村落就叫王村,其地在今义乌南部毛店镇朱店村。及王袆祖父时,已在义乌县城内居住。
王袆祖父王炎泽,字威仲。致力经籍,业从朱子理学。历任东阳、常山教谕,石峡书院山长。以善教著称,学者尊为“南校先生”。父亲是文人,也深入研究古代文献。
宋濂曾评价过他:“蔽膝”,即围裙,是一种古老的衣物,用兽皮或布帛制成,这名字也反映了其对传统文化的尊重和保存之意。他受黄溍师承,有很高的地位和影响力,与同门宋濂齐名。
北上大都后,他写了一篇长达七八千言的文章,对朝廷政局进行批评与建议,但未被采纳。在国史馆工作期间,他因才华横溢受到推崇,但最终未能得到实际职务。此后,他在京都广交文人学士,并因为才华受到很多人的赞赏,最终决定返回家乡继续著书立说。
隐居青岩之后,他继承了朱熹道学,并续编了吕祖谦《大事记》,并撰写了大量笔记,并删选出《丛录》一书,该书论述诸子百家的渊源流注,为学者所称道。他还撰写了语录式著作《卮言》,内容涉及治国安邦等问题,被视为至理名言之一。
元顺帝至正十八年(1359),朱元璋征聘他担任中书分省掾吏,以待他有更大的用武之地。但由于他的才华被认为不适合小职位,而应该留在行省施展。这段经历显示出他的重要性和影响力,在当时社会中占有一席之地。