王珣的仕途之路始于桓温身边,担任掾属期间,与同僚谢玄深受桓温青眼。随后,他转任主簿,在北伐中负责军中的重要事务,军中文武百官都熟知他的存在。太和四年(369年),豫州刺史袁真因被指责而叛归前燕,被王珣参与讨伐平定。在太和六年(371年),王珣因功被封东亭侯,并历任大司马参军、琅邪王友。
宁康元年(373年)桓温去世后,王珣调任中军将军桓冲的长史、给事黄门侍郎。这时期,他与谢氏结下了姻亲,但彼此猜嫌,最终导致离婚,使得两家成为仇敌。当时在朝堂上掌权的人物,便以此意愿推举他为豫章太守,但王珣不愿远离故乡,便未赴职。此后,他又被征召为散骑常侍,然后转任秘书监。
孝武帝即位后,即依赖于他,如同对待心腹宰辅。他与殷仲堪、徐邈、王恭及郗恢等人共同受到皇帝的倾心。但就在这时,其他人物如王国宝等人开始依附会稽王司马道子,而司马道子的关系与孝武帝一度紧张。面对这种情况,孝武帝担忧自己一旦去世,将会引发更多问题,因此分别命这些人才出镇州郡,以备不时之需,同时留下信得过的重臣如王珣在朝廷内担当关键角色。