魏元忠是宋州宋城县人，早年为太学生，志气倜傥，不把举荐放在心上，故累年未能升调。当时有一左史，是铥扁人，姓江名融，他撰写了《九州设险图》，全面记载了古今用兵成败方面的事。魏元忠就对这一内容加以训释解说。
仪凤四年(679年)，吐蕃不断地侵犯边疆。魏元忠到洛阳上密封奏章，论说朝廷命官用兵作战方面优缺点。唐高宗看了很是惊叹，于是授命他为秘书省正字(掌管校勘典籍之事)
，令他在中书省听调遣，不久任监察御史。
平定扬州
弘道二年(684年)，魏元忠迁任殿中侍御史。那年，徐敬业占据扬州作乱，左玉钤大将军李孝逸督军讨伐，武则天诏魏元忠监理军事。李孝逸到临淮，而他的偏将雷仁智被徐敬业的先锋部队挫败，接着徐敬业又攻陷润州，回兵来抗击李孝逸。李孝逸害怕敌军的力量，按甲不敢进军。魏元忠对李孝逸说：“朝廷因您是王室懿亲，所以委以这平定叛乱的大事，天下的安危，实在要靠这一次决战。况且国内太平日久，忽闻这叛乱，莫不注心倾耳，来等候诛杀叛逆的好消息。现在大军停而不进，这样对待世人的期望，万一朝廷派另外的将领来代替您，您将用何辞来解脱自己的带兵不前的罪过呢?最好是迅速进兵，以立大功。不然，灾祸就要临头。”李孝逸认为魏元忠的话对，于是率领部队准备进军讨伐。
当时，徐敬业驻兵于下阿奚谷，徐敬业的弟弟徐敬猷率领偏师逼进淮阴。魏元忠请先击徐敬猷，诸将都认为：“不如先攻徐敬业，徐敬业被打败，徐敬猷不战就可以生擒。如果击徐敬猷，那么徐敬业肯定会引兵援救，这样就会造成腹背受敌。”魏元忠道：“不然，敌人的劲兵精卒，尽在下阿奚谷，像蚂蚁一样拥来，只能一战而胜，否则，那我们就大势去矣。徐敬猷的军队，既不习战斗，又人少且弱，军心易浮动，我们大军临阵，其势必胜，既打败徐敬猷，我军乘胜而进，徐敬业如援救淮阴，计算行程则赶不到，他又怕我们进军江都，一定会在中途拦击，敌军劳倦，我军以逸待劳，打败他们就成必然之势。这就如追逐野兽，弱者先擒，哪里能舍弃一定可以捉到的弱兽，而去攻打难敌的强兵呢!这样恐怕不是善策。”李孝逸听从了他的意见。于是引兵击徐敬猷，一战而破之，徐敬猷脱身逃遁。李孝逸于是进军，与徐敬业隔溪相拒，前军总管苏孝祥的守地被叛军攻破，李孝逸又害怕，想带兵退却。当初，徐敬业带兵到下阿奚谷，有流星坠落他们的军营中，到此时，又有群鸟飞噪于阵上。魏元忠说：“应验此情况，正是贼兵败亡之兆，现在风又顺荻草又干枯，火攻必有利。”坚持请求与敌决战，这样才平定了徐敬业。魏元忠因功升任司刑正，又升至洛阳令。
宦海沉浮
不久，魏元忠被周兴诬陷下狱，将赴刑场行刑，武则天以魏元忠讨平徐敬业有功，特免死而发配贵州，当时传达命令的人将到刑场，先令他人飞往刑场传呼，监刑官马上释放魏元忠要他站起来。魏元忠道：“还不知道赦令是真是假，岂可随随便便就这样。”直到他听见了宣布命令，才起立致谢。观看的人都赞叹他临刑而神色不忧。
圣历元年(698年)，魏元忠任侍御史，后升任御史中丞。后来又被来俊臣、侯思止陷害，再度流放于岭表。后来回到京师，授御史中丞。魏元忠前后三次被流放，当时的人都说他无罪。武则天曾对他说：“卿多次遭陷致罪，是何原因?”他回答说：“臣就像一匹鹿，罗织之徒，就像猎人，是想用臣的肉做羹罢了。这些人杀臣是想求得通达，臣又有何罪?”
圣历二年(699年)，升任凤阁侍郎，任代理宰相，检校并州长史。未过多久，加授银青光禄大夫，迁任左肃政台御史大夫，兼检校洛州长史，治政清严，长安年中，相王为并州元帅，魏元忠任副职。当时奉宸令张易之曾纵容家奴欺凌百姓。魏元忠按法笞杀了家奴。权贵们莫不敬畏。当时，突厥与吐蕃多次侵犯边土，魏元忠为大总管抗击敌军，魏元忠在军中，持重自守，既未打胜仗，也未打败仗。
李显为太子时，魏元忠任检校太子左庶子。当时张易之、张昌宗权宠的状况一天比一天盛，倾朝官员都趋附于他们，而魏元忠曾为此上奏武则天：“臣承蒙先帝看得起，又受陛下的厚恩，不能为忠于国家尽死节，使小人能在君侧，臣之罪也。”武则天看后很不高兴。张易之、张昌宗由此含怒，趁武则天身体不好，便诬害魏元忠说他与司礼卿高戬私下同谋道：“陛下老了，我辈当挟太子而令天下。”武则天听了，便把魏元忠收入狱中，召太子李显、相王李旦及宰相到朝廷，让张昌宗与魏元忠在殿前对质，反复不能决断。张昌宗又要凤阁舍人张说做证人，张说开始答应了，等到武则天召他到殿前验问时，张说据实说魏元忠实无此证。武则天才明白魏元忠被诬害，但因张昌宗的缘故，特贬授端州高要县尉。
再任宰相
神龙元年(705年)，李显即位后，派驿马专程召回魏元忠，授卫尉卿，任代理宰相。不久又迁任兵部尚书，主管军国大事如故。不久，又进拜侍中，兼检校兵部尚书。当时武则天驾崩，李显居丧，多不视事，军国大政，独委魏元忠代理数日。未过多久，魏元忠任中书令，加授光禄大夫，封齐国公，监修国史。
神龙二年(706年)，魏元忠与武三思、祝钦明、徐彦伯、柳冲、韦承庆、崔融、岑羲、徐坚等人撰写《武则天皇后实录》二十卷，编辑文集一百二十卷上奏。李显称善，赐魏元忠五色绸千段。还封他的儿子卫王府咨议参军魏升为任城县男。当时魏元忠特别受宠于李显，当朝用事。当初，魏元忠在武则天朝中做宰相时，议者都认为他公正洁廉。到此时再度任宰相，天下人莫不引颈盼望，希望他有所弘扬。但魏元忠依附权豪，抑弃寒俊，竟然不能赏善罚恶，勉修时政，议者因此责备他。后代唐璟任尚书右仆射、兼中书令，仍兼兵部尚书，监修国史。不久，魏元忠请求还乡扫墓拜祖，皇上特赐锦袍一领、银千两，并给千骑官四人，充当他的左右随从。并亲书：“衣锦昼游，在乎此日，散多敷惠，谅属斯辰。”魏元忠到故乡，竟自藏白银，无所救济施舍。到归朝时，李显又亲自到白马寺来迎接慰劳他，其恩遇达到如此程度。
这时，安乐公主曾私下请李显废除太子李重俊，立自己为皇太女，李显以此事问魏元忠，魏元忠坚持说不可，才作罢。不久，魏元忠任左仆射，其他职务如故。魏元忠嫉妒武三思专权用事，心中常生愤慨之情，叹息不已，总想除掉武三思。
景龙元年(707年)，李重俊起兵诛武三思，魏元忠及左羽林大将军李多祚等都暗中参与其事。太子既斩了武三思，又率领军人到宫门外，将请求废除韦后为庶人，在永安门遇上魏元忠的儿子太仆少卿魏昇，便胁迫令他顺从。李重俊带兵到玄武楼下，李多祚等犹豫不战，魏元忠又持两端，因此起兵未成功，魏昇被乱兵所杀。李显以魏元忠有平寇之功，又一向为高宗、武则天所看重，竟没有因魏昇的事受累，委任如初。
遭陷去世
此时，武三思的死党—兵部尚书宗楚客与侍中纪处讷等又拿魏昇的事，证明魏氏父子与李重俊同谋叛逆，请求抄斩三族，中宗未允许。魏元忠惧怕不能自安，上表坚请告老还乡，李显亲自手批，免除左仆射，加特进的最高荣誉职，封齐国公告老还乡，但还是初一、十五上朝。宗楚客等又拉拢右卫郎将姚庭筠要御史中丞举报魏元忠，因此贬为渠州员外司马。
侍中杨再思、中书令李峤都依从宗楚客的意思，来使魏元忠致罪，惟有中书侍郎萧至忠主张对魏元忠从宽原宥。宗楚客大怒，又派给事中冉在雍与杨再思再上奏，说：“魏元忠既有叛逆罪的嫌疑，不适合授内地官。”于是魏元忠又被降迁思州务川县尉。过了不久，宗楚客又令御史袁守一上奏：“则天皇帝过去在三阳宫有疾，内史狄仁杰奏请陛下监国，魏元忠秘密进言说不可。据此，就可以知道魏元忠怀叛逆之心由来已久，伏请从严加罪诛除。”中宗对杨再思等说“：我想这件事，这是袁守一的大错，人臣忠于主上，必在一心，哪里有主上稍有不安，就请出太子来主管国事的?这实际上是狄仁杰私心讨好，并不是魏元忠有什么过失。袁守一假借前事来给魏元忠罗织罪名，这哪是什么判罪的道理。”宗楚客等到此才算罢休。魏元忠行至涪陵时去世，享年七十余岁。
景龙四年(710年)，追赠魏元忠尚书左仆射，齐国公、本州刺史，下令所司把他的灵柩送回老家安葬;李旦即位，又亲旨令魏元忠遗骸陪葬定陵。景云三年(712年)，唐睿宗降旨：“故左仆射、齐国公魏元忠，代合众望，可称得国之贤良。他历事三朝，都极忠诚干练，晚年遭贬谪，并不是他有罪。应当按功归还他的儿子著作郎魏晃实封一百户。”开元六年(718年)，谥曰“贞”。