韦思谦的祖先自雍州杜陵(今西安杜陵)南迁，客居襄阳(今湖北襄阳)，后又迁徙到郑州阳武(今河南原阳)。八岁时母亲去世，因孝顺而出名。考中进士后，多次升任后做到了应城令，一年后参加选考。韦思谦在任上，因为政绩考核为末等，依照过去的制度，这类情况大多不能晋升。吏部尚书高季辅却提拔他做监察御史，因此出名。他曾经对人说：“御史走出国都，如果不能动摇一方，震慑州县，就是失职。”
公元650年(永徽元年)十月，中书令褚遂良低价购买中书省翻译官的田地，大理少卿张睿册认为其无罪。韦思谦上书弹劾此事，降褚遂良为同州刺史、张睿册为循州刺史。
等到褚遂良官复中书令，韦思谦被降职为清水县令。左肃机皇甫公义任检校沛王府长史，提拔韦思谦任同府仓曹，后多次升迁，任右司郎中。
公元682年(永淳元年)，历任尚书左丞、御史大夫。唐高宗认为他很有才能，每次召他进宫谈话，即时十分疲惫，也要身子靠着殿前的栏杆，说上好几个时辰才结束。案情不明、证据不充分、一时难于判决的案件，繁杂的事务，每次都要他参与裁决。当时武候将军田仁会与侍御史张仁祎有矛盾，捏造罪名诬陷张仁祎。高宗在朝堂上询问张仁祎，张仁祎十分害怕，回答的语无伦次。韦思谦上前说："臣与张仁祎曾是同僚，相当了解这件事的缘由。张仁祎为人懦弱而不能为自己申辩。如果田仁会迷惑圣上的视听，使张仁祎不正常地获罪，那就是为臣事君不尽心了。请让二人为此事对证。”他言辞流利，含义鲜明畅达，高宗非常赞同。
韦思谦在御史台任职，每次见到王公，从不行跪拜礼。有人劝他
，他回答说：“雕、鹗、鹰、鹯，怎能与众禽为伴?为何要行跪拜礼来亲近他们?况且身为谏官，本来就应独立。”他刚任左丞时，上奏说：“陛下为各部门选择人才，没有合适的人选就空缺不授。现在您不吝惜好的锦缎，让我来裁制它(言下的意思就是把好的职位拿给他充任)，这是陛下知臣之深，也是臣尽命以报的时候。”他在任上整顿制订法纲，朝廷肃然。
683年(弘道元年)，唐高宗驾崩，太子李哲继位为唐中宗，武则天以太后摄政，掌握实权。
684年(嗣圣元年)，中宗意图独立执政，武后将他废黜，改立皇弟豫王李旦为唐睿宗，进一步掌握权柄。九月，武后侄武承嗣、武三思屡劝武后寻事诛杀皇室近支韩王李元嘉、鲁王李灵夔等以绝宗室之望，韦思谦和中书侍郎刘祎之都因害怕，唯唯诺诺不说话，只有中书令裴炎坚持力争以为不可。后转任宗正卿，恰逢改换官名，改任司属卿。
武则天又分别设置左右肃政台，任命韦思谦为右肃政大夫。大夫过去和御史行对等之礼，惟独韦思谦坐着接受对方的拜见。有人为此提出意见，韦思谦说：“朝廷班列，本有等级差别，为何无原则地行事呢?”
公元685年(垂拱元年)，赐爵博昌县男，升任凤阁鸾台三品。二年，接替苏良嗣任纳言。
公元687年(垂拱三年)，上表告老请求辞官，武则天答应了，加授太中大夫。
公元689年(永昌元年)，死于家中，追赠幽州都督。
唐德宗年间，韦思谦得以续图凌烟阁。
史书评价
《旧唐书》：“韦思谦始以州县，奋于烟霄，持纲不避于权豪，报国能忘于妻子。自强不息，刚毅近仁，信有之矣!高季辅、皇甫公义，可谓知人矣!且福善余庆，不谓无徵，二子构堂，俱列相辅，文皆经济，政尽明能。加以承庆方危，染翰而曾非恐悚;嗣立见用，袭封而罔坠逍遥。无忝父风，宁惭祖德，谥温谥孝，何愧易名?”
《旧唐书》：“善人君子，怀忠秉正。尽富文章，咸推谏诤。岂愧明廷，无惭重柄。子子孙孙，演承余庆。”
高季辅：自居选部，今始得此一人，岂以小疵而弃大德。
皇甫公义：公岂池中之物，屈公为数旬之客，以望此府耳。
明目张胆
韦思谦做人正直，时常会劝谏皇上，有话就会直说。他考上进士之后，被任命为应城县令，后来升为监察御史。有一次，他发现中书令(即宰相)褚遂良低价购买中书省翻译官的田地，正直的韦思谦也不害怕他官位高，势力大，立刻上书举发他。因为证据明确，朝廷不好意思公开庇护大臣，只好把褚遂良调出京城，降职为同州刺史。过了一段时间，褚遂良又被重用，恢复了中书令的官职。褚遂良便找了理由报复韦思谦，把他贬到外省，当一名县官。有人替韦思谦打抱不平，暗中去慰问韦思谦，他仍然不改初衷，慷慨激昂的说：“我性格狂放粗率，被授予大权，遇事就要发作，遭祸害身理所应当。然而大丈夫身居刚正之位，必须明目张胆的报答国恩，终不能做碌碌无为的臣子只求保全妻子儿女。”明目，即睁亮眼睛。张胆，即放开胆量。原指有胆识，敢做敢为。后来形容公开放肆地干坏事。
涕泗冰须
韦思谦十分得唐高宗的信任，在朝堂上十分倚重他。当唐高宗驾崩时，韦思谦抱病入宫临丧，泪涕凝结须髯，俯伏号哭气绝。诏令派人搀扶侍候。