卫瓘出生于儒学官宦世家，高祖卫暠在汉明帝时是著名的儒士。父亲卫觊，任曹魏尚书。由于家庭的影响和父辈的熏陶，卫瓘青少年时就以“性负静有名理，明识清允”，受到邻里、亲朋的称赞。他十岁时丧父，从小便磨炼自立的能力。先世袭亡父的爵位閺乡侯。年仅二十岁就做了曹魏的尚书郎。
当时，魏国法度严苛，权臣专政。但卫瓘则坚持秉公办事，不亲不疏，尤其是涉及大大小小的诉讼，总是明之以法，晓之以理，动之以情，令人信服。十年间历任通事郎、中书郎、散骑常侍等职。
景元元年（260年），魏元帝曹奂即位后，卫瓘官拜侍中，持节慰劳河北地区，后转任廷尉。
景元四年（263年），朝廷卫瓘在讨伐蜀汉时以监军的身份并持符节监督邓艾、钟会的军事行动，代理镇西将军军司，并统兵一千人。平蜀后，邓艾自大而独断专行，钟会与卫瓘密奏大将军司马昭，说邓艾有反状。元帝下诏，用囚车监禁邓艾入京。钟会使用一石二鸟之计，先派卫瓘以少量兵力先到成都收擒邓艾，企图借邓艾之手将其杀死，再把卫瓘之死作为邓艾谋反的罪证之一。
卫瓘心知肚明，但不能拒绝，便去了成都。卫瓘在夜里到达成都后，向邓艾手下的将领发出檄文，声称“奉诏捉捕邓艾，其余的人一概不予追究。如果向朝廷军来报到，爵位赏赐就和之前一样；如果胆敢不出面，就诛灭他三族。于是第二天鸡鸣时，邓艾的属将们纷纷赶来卫瓘军营中，只有邓艾还在帐内未出来。于是卫瓘就在日出后，乘着使者的车赶往邓艾的居所，此时邓艾还在睡觉未起，父子一起被擒。邓艾对着天叹道：“我邓艾是忠臣啊！竟然会有如此的下场！从前白起所受的遭遇，在今日又见到了。”
这时，邓艾的属将计划拦劫囚车营救，率领兵马来到卫瓘军营。卫瓘穿着轻装出来迎接，假称正在写奏章，要为邓艾的事申辩，诸将听信他的话，于是停止营救邓艾。
景元五年（264年）正月十五日，钟会抵达成都后，决意谋反。次日，他便以为郭太后致哀为由，将胡烈等将领、官员请至蜀国朝堂，趁机将他们软禁起来，并举兵叛乱。这时所有士卒只想着班师回朝，成都内外都有骚动，人们心里都很担心惧怕。钟会把卫瓘留在身边商量此事，在木片写上“欲杀胡烈等”给卫瓘看，卫瓘不答应，两人便开始互相猜忌。卫瓘去上厕所时，碰到胡烈原本的亲将丘建，便告诉他，要他把消息传到军中。
钟会逼迫卫瓘作出决定，当夜他们两个不能合眼，各自握刀于膝盖上。第二天，城外有些得到消息的军队已经准备要攻进钟会，因为卫瓘还在里面而不敢出兵。钟会想命卫瓘出去慰劳各军，卫瓘打算趁此机脱身，故意跟钟会说：“您是各军的统率，应该自己前去。”钟会说：“你是监军，应该先让你先去，我随后就到。”卫瓘于是下殿离开，钟会后悔便派人去，叫他回来。
卫瓘称说自己生了病，并假装仆倒在地，后来抵达城外，钟会派几十名亲信去追。卫瓘便拿盐水来喝，让自己大吐。由于卫瓘本身就瘦弱，所以看起来像是患了重病，钟会所派的亲信和医生来看他，都说他病重不起，钟会于是无所忌惮。等到天黑城门关闭后，卫瓘作檄文宣告诸军，各军也已经自动号召，约定隔天一早一起讨伐钟会。钟会率领所有士兵出战，城外诸军将其击败，只剩帐内数百名土兵跟随钟会走，最后所有人被杀死。卫瓘约束诸将，才平息下来。
邓艾本营的将士想要追上囚车救出邓艾，迎接他回成都，卫瓘自认为和钟会一起诬陷邓艾，担心会有变故，就派遣护军田续至绵竹夜袭邓艾于三造亭，杀死邓艾父子。起初，邓艾进入江油时，田续不敢前进，邓艾想要杀了他，不久又放了他，等到卫瓘派遣田续，对他说：“可以报在江油受辱的仇了。”
益州平定后，朝臣建议对卫瓘加以封赏，卫瓘却认为“克蜀之功，都是诸将的功劳；而邓艾、钟会二将则是自取灭亡”，坚持不接受赏赐。之后，他出任使持节、都督关中诸军事、镇西将军。不久即转任都督徐州诸军事、镇东将军，进封爵位为菑阳侯，卫瓘的弟弟卫寔也受荫赏，获封开阳亭侯。
咸熙二年十二月（266年2月），晋王司马炎（晋武帝）建立西晋，这是卫瓘倍受晋武帝信任的时期。他先转任征东将军，不久进爵为菑阳公。
泰始五年（269年），卫瓘被改授为都督青州诸军事，兼任青州刺史。后加号征东大将军、青州牧。他善于理政，所在之处都有政绩。
泰始七年（271年），卫瓘出镇北境，任征北大将军、都督幽州诸军事，兼任幽州刺史、护乌桓校尉。
咸宁二年（276年），朝廷听从卫瓘之前的意见，设立平州，后更以他兼督平州。卫瓘在任内又离间北方鲜卑诸部，使“务桓降而（拓跋）力微以忧死”，为朝廷解决了边害。晋武帝闻知后，对卫瓘大加奖赏，赐其一子爵为亭侯。卫瓘乞求将这个爵位封给自己的弟弟，但还未受封他就去世了，于是封卫瓘子卫密为亭侯。卫瓘六子都没有爵位，全都让给自己的两个弟弟，远近之人都称赞他这种行为。
卫瓘多次请求入朝觐见，武帝允许，并在他入京后加以善待，旋即命其归镇就职。咸宁四年（278年），卫瓘被征召入朝，升为尚书令，加侍中。他为人严谨，以严法对待属下，看待诸尚书如同自己的僚佐、尚书郎如同自己的掾属。
太康三年（282年），又升任司空，仍领尚书令、侍中。卫瓘为政清简，深得朝野上下赞誉。武帝将其女繁昌公主下嫁与卫瓘第四子卫宣。后又领太子少傅，加一千步卒、一百骑兵及鼓吹于府中。