建安十四年(209年)，刘备领荆州牧，任命潘浚为治中从事。
建安十六年(211年)，刘备入益州，将潘浚留下以管理荆州事务，是关羽的得力助手，地位仅次于马良。
关羽对潘濬非常了解，知道他的能力不俗，能够镇住场子，就对王甫说道：
“我已经派治中潘浚，率五千军马，前往江陵城镇守，就算糜芳大意，潘濬也会及时处理，应该没有大问题！”
说起潘濬，王甫的嘴角不由自主地抽搐了一下，他们两个性格有些不合。
当初王甫初来乍到，与荆州的同僚们相谈甚欢，大家对他的辩才也非常佩服。
只有潘濬，自负才华，根本就不买王甫的账，甚至当场驳斥于他，让他心中很不是滋味。
王甫与关羽相处融洽，对潘濬不满，加上他想要提拔知交好友赵累，就向关羽建议道：
“潘浚平生多忌而好名利，不可重用。可我觉得前都督粮料官赵累比他更合适，不如用赵累替代潘濬镇守江陵，他为人忠城廉直。若用此人，则万无一失。”
关羽特别要脸面，认定的事情很难让他更改，说是刚愎自用也不为过，对王甫要干涉人事变动略有不快，耐着性子解释道：
“我与潘濬相处日久，知道他才华过人，定能胜任此事，今既已经决定，不必更改。赵累现掌粮料，亦是重事。你与潘濬以后要经常合作，不要多疑。你现在抓紧时间领兵去筑烽火台，方是正事。”
王甫不是没有颜色的人看出关羽的不快，不敢再提别的要求，怏怏拜辞，领兵前去筑造烽火台，
关平埋伏了近一个月，并没有觅到机会，在攻打樊城之前，关羽令他领军准备足够的船只，用作救援之用。