20岁的时候，曹操被举为孝廉，任命为郎官，任职洛阳北部尉，开始步入仕途。按照汉朝当时的规定，每郡20万人中才推举1人为孝廉，所以人们以举孝廉为荣。因此，曹操能够被举为孝廉，也说明了公众对曹操的评价与认可。但是，人们对补任为郎官并不看好。那时有一个叫丁邯的人，被补为郎后，称疾不往，朝廷下诏追问，丁邯说：“我实际上并没有病，但我以此为耻。”不管怎样，曹操由此开始了他的政治生涯。
初露锋芒
尉官主管地方治安。曹操初入仕途便显示出了与众不同的能力。为了维护社会治安，曹操在四面城门边各悬挂上了10余枚自造的五色棒，有谁违反了规定，不管身份，不论贵贱，一律棒杀！这个规定制定出来的几个月后，汉灵帝身边的红人小黄门蹇硕的叔父夜行犯禁，蹇硕当时与曹操一样都是汉灵帝西园八校尉之一，但尽管这样，曹操依然毫不留情，立即棒杀，之后再也没有人敢以身试法了。曹操以强硬的手腕、严明的法纪，维护了社会的稳定，也赢得了很好的社会声誉。
23岁时，曹操被任命为顿丘令，后征拜议郎。议郎是主管言论的官员，曹操被任命为议郎后，给灵帝提出了大量的意见，如大将军窦武、太傅陈蕃谋诛宦官，反为宦官所害，曹操就上书灵帝陈说窦武等人正直无私却被陷害，朝廷内部充斥着奸邪小人，好人反而没有出路。言辞诚恳，切中要害，但是，灵帝却视而不见。之后朝政日益混乱，各地豪强更加不法，曹操看到如此乱象已不可匡正，所以也就不再给灵帝进谏忠言。
汉灵帝中平元年（公元184年），黄巾起义爆发，曹操被拜为骑都尉，率领部队讨伐颍川黄巾义军，因为有功而被封为济南相。针对本地官员阿附权贵、贪赃枉法的混乱现象，曹操果断处置，坚决绳之以法，结果政教大行，全郡清平，没有人再敢目无纲纪。曹操不但肃清了政治，而且，针对过于迷信鬼神、大建祠庙的现象，曹操也采取有力措施，彻底予以杜绝。当年，城阳景王刘章因为有功于朝廷，当地官员为其建立了祠堂祭祀，结果，青州等各郡却转相仿效，纷纷为各自的祖先建立祠堂，尤其是济南更加严重，达到了六百余座。甚至他们还制作车马、穿上专门制作的服装，聚集大量人马日夜欢乐，奢侈荒淫，而普通百姓的生活却因此而日益艰难，贫穷日甚。在济南任职的历任官员都不敢下令禁止，无法杜绝这种现象。曹操到任后，首先将祭祀祠堂拆除，然后下令禁止官吏和民众参与祭祀。很快，不法官吏要么被免职，要么逃往他郡，奸邪鬼神之事消失得无影无踪。
后来，曹操又被任命为东郡太守，但是，年轻气盛、壮志凌云的曹操看到朝政日非、权臣当道、外戚横行的局面一时难以改变，深知仅凭自己对事业的满腔热情是远远不够的，所以，为了避免给自己和家人带来灾祸，曹操没有赴任，而是称病返回了久别的故乡。
在老家，曹操在谯东50里的地方修筑了精舍，用于读书打猎，谢绝了所有宾客朋友来访，悠游自在。
如果从心理学上分析，这段时间应该是曹操心理的调整适应期，早年建功立业的豪气被无情的现实击得粉碎，无奈他只好闭门反思，用读书打猎这种表面悠闲的生活掩盖内心的苦闷。建安十五年（公元210年）十二月曹操在一篇文章中提到这段往事时说：“我最初被举为孝廉，年纪轻轻，自认为并非知名隐士，不能够像他们那样凭借声誉谋得官职，所以担心别人认为我太笨，就想做一个郡守，管好自己的政务，取得良好的名声，让世人知道我也有处理政务的能力，所以在做济南相的时候，下定决心除残去秽，公平选举，结果得罪了朝中掌权的宦官，引起了他们的愤怒，我担心带来家祸，便借病归还老家。辞官归乡之后，自己还比较年轻，看一看同年被举为孝廉的人，已经有年龄在50岁左右的人了，但是他们却不认为自己已经老了。所以自己想一想，即便是由此白白浪费20年，等到天下清平了，我才与他们的年龄相等！所以我便回到了故乡，在谯东50里的地方修筑精舍，想秋夏读书，冬春射猎，谢绝了宾客们的交往，自我封闭起来。然而不能如愿。”
从这一段话来看，曹操当时对自己的处境非常清楚：
首先，他想有所作为，所以在任职洛阳北部尉、骑都尉和济南相时，都能够兢兢业业，不畏艰难。
其次，他也很清楚当时宦官专权、外戚当道的政局，只有韬光养晦，才能够有更大作为。同时，回到故乡，主动调节一下心理，会使自己对事物发展的判断更加正确，对未来的预测更加准确。
第三，自己在年龄上占有绝对优势，想实现自己的理想壮志，不在一朝一夕。
第四，从表面上看，曹操是要下决心躲避现实，但实际上他在时刻关注着政治。“不能如愿”之说，是一种委婉心迹的表述，他在等待的，是更大的机会。
率兵平乱
曹操在老家没过多久，便接到冀州刺史王芬等人想联合曹操一起废除灵帝的请求，曹操却冷静地分析了时局，认为此事不可行。但王芬等人却一意孤行，最终以失败告终。
不久，金城边章、韩遂率众10余万叛乱，曹操被任命为典军校尉率军平判。
此时朝政发生了重要变化，灵帝死，太子即位，太后临朝听证。大将军何进与袁绍谋诛宦官，但是太后不听。何进为了胁迫太后，作出了一个非常错误的决定，即召董卓进京。当时曹操听说了这件事，便认为何进智谋不足，说：“宦官历代都有，但帝王不该授以大权，使他们严重干扰朝政。要清除宦官专权之乱，只需将元凶绳之以法即可，用一个狱吏就可办成，何必兴师动众将外将召回京内！此事一定不能成功。”结果，董卓的兵力还未到京城，何进就被宦官杀死了。董卓进京以后，另立献帝，京都大乱。
董卓也深知曹操的能力，所以上表献帝，封曹操为骁骑校尉，想与曹操一起商议国家大事。但是，曹操却十分清楚，董卓最终必败。所以他没有接受这个职务，反而是改变姓名，带领少数人马，偷偷走小路再一次东归故乡。
曹操带领着他的随从数人一路来到成皋（今属河南荥阳），想顺道拜访一下老朋友吕伯奢。
本来，朋友互访并没有什么，但是曹操拜访吕伯奢却引来了一个千古话题，给历史、文学、文化，甚至是为人处事带来了深远影响。那么，这到底是怎么回事呢？
因为史书的记载不同，曹操与老朋友的这段交往也有不同的理解。根据《三国志》裴松之注释时所引的《魏书》记载，当曹操来拜访吕伯奢的时候，吕伯奢不在家，他的儿子和宾客见财起意，合伙打劫了曹操，把曹操所带的马匹及财物抢走了，所以曹操就亲手杀死了他们几个人，才摆脱了困境，逃了出来。而裴松之所引的另一部书《世语》的记载则完全不同。《世语》中说：曹操拜访吕伯奢的时候，吕伯奢恰巧不在家，他的5个儿子却都在家，于是他们以宾主之礼热情地招待了曹操。但曹操看到这家人这样热情，反而认为这是圈套，感到自己没有按照董卓的任命赴任，这家人是不是要把自己交到董卓手里邀功？想到这里，曹操便在夜间挥剑杀死了八人，仓皇逃走。裴松之还引了一部叫《杂记》的书，记载得更为详细，说是这家人要招待曹操和他的随从，当他们在准备食物的时候，曹操听到了刀具等器物碰撞的声音，以为是准备对自己下手，于是就在夜间把这家人杀了。但是，随即曹操就后悔了，为他们全家的死感到悲伤，不过，痛定思痛，曹操还是说了一句“千古名言”：“宁教我负天下人，休叫天下人负我！”说完就毅然离开了老朋友吕伯奢的家。
由此可见，曹操杀吕伯奢家人的故事，本来就说法不一，除了第一种说法给曹操找了一个充分的理由之外，后面几部书的记载完全把曹操视为一个残暴自私、无情无义的人。我们且不管这两种对曹操态度截然不同的记载真实与否，光是后来“贬曹派”据此而作出的评价就足以将这件事变成真的，《三国演义》不但把这件事说成真的，而且还演绎出了更多原本没有的故事，如曹操往回赶途中，又遇到了吕伯奢，又用计将吕伯奢杀死。当陈宫责问曹操为何如此时，曹操说：“宁教我负天下人，休教天下人负我。”其实不仅仅是小说家，就连史学家也有不少人赞同这种说法。如清代周寿昌就说：“吕氏子弟宾客如果真的有劫持曹操的心思，那么他们就会有准备，曹操仅凭一个人的力量怎么能够成功？只有在吕伯奢的五个儿子都把曹操当作父亲的朋友盛情款待的时候，曹操先自心生疑虑，才乘其不备把他们全家人杀了。曹操这是灭绝天良啊！”
正是因为有这些说法和认识，曹操在公众的心目中才逐渐由历史英雄变成了所谓的“白脸”、“奸臣”等，这是后话。
当日，曹操从吕伯奢家出来，路经中牟，亭长怀疑曹操是逃亡者，就把他交给了县令，这时县令已经接到了董卓拘捕曹操的命令，不过县里的一位功曹认得曹操，认为现在时局动荡，不应该拘捕天下英雄，所以请求县令把曹操给放了。曹操来到陈留，尽散家财，招集义兵，决心讨伐董卓。
汉灵帝中平六年（公元189年）十二月，曹操35岁，在得到陈留孝廉卫兹以家财资助、招募5000兵士之后，曹操再一次起兵，举起了平定董卓之乱的大旗。
讨伐董卓
汉献帝初平元年（公元190年）正月，袁术、袁绍、韩馥等人同时从各地起兵讨伐董卓，共同推举袁绍为盟主，曹操以奋武将军的身份参与到大军之中。董卓听说之后，将献帝迁移到长安，自己则驻扎在洛阳，焚烧宫室，迎战义军。看到董卓兵力强大，袁绍等人畏缩不前。曹操力主进兵，说：“董卓已是穷途末路，要迅速前进，机不可失。”于是率先率兵西进，欲攻占成皋。陈留太守张邈派大将卫兹领兵协助曹操，遭遇董卓大将徐荣，卫兹战死，曹操中箭，所乘马匹也伤势严重，从弟曹洪将自己的马给曹操，曹洪说：“天下可以没有曹洪，但是不可以没有你。”于是便步行到汴水，曹操才得以连夜逃走。关于曹洪让马给曹操一事，还有一个美丽的传说，说是曹洪产业巨大，骏马成群。曹洪让给曹操的马号为白鹄，这匹马奔跑时只会听到耳边风声，足不沾地。跑到汴水之后，曹洪无法渡河，曹操就将曹洪拉到马上，兄弟二人一同乘马奔驰，马匹行走如飞，数百里地瞬间而至，而马匹却足毛不湿。所以当时人称他们是乘风而行，此马也被称为是一代神骏。甚至有谚语说：“凭空虚跃，曹家白鹄。”
曹操狼狈逃到了酸枣，而各路军阀却按兵不动，曹操一面斥其名为义军却不图进取，一面帮助他们出谋划策，但是军阀为保各自实力，不愿进军。无奈之下，曹操与夏侯惇远赴扬州再次招募兵士，得到4000兵力，但不久兵士发动叛乱，曹操只率领千余人进驻到河内。此时，袁绍与韩馥商议立幽州牧刘虞为帝，曹操竭力反对，说：“董卓罪大滔天，我们聚合义军共同讨伐，天下响应，这是因为我们是义军。现在皇帝年幼无助，一旦另立新君，天下哪里还能安定！”袁绍看到曹操不听他的计策，便又派人游说曹操，说：“现在只有袁绍势力强大，再加上他的两个儿子羽翼逐渐丰满，天下英雄，有谁能比？”曹操不予理会，从此越发看不起袁绍，并下决心找机会将其消灭。
七月，曹操因击破黑山义军而被任命为东郡太守，之后到次年春天几个月的时间里，又连续击败多处义军，并在内黄打败了匈奴南单于的儿子，取得节节胜利。
此后，司徒王允和吕布设计杀死了董卓，但董卓部将李傕、郭汜等人又将王允杀死，并进攻吕布，吕布败走，李傕等人执掌朝政。
曹操在这两年讨伐董卓的战斗中，表现非常英勇，决策也非常英明，尽管各路军阀为了各自的利益，没有按照曹操的意见采取主动进攻的战术，但曹操却勇往直前，尽管明知自己实力无法与敌人抗衡，很有可能会全军溃败，甚至危机个人生命安全，但是，看准了目标，就不惜代价，曹操表现出了一个年轻政治家的坚韧和军事家的睿智。也正因如此，在后来的战斗中，曹操才取得了一个又一个胜利，军事实力逐渐扩大，政治地位也不断上升。
兖州牧
兖州自古以来就是一个具有重要战略地位的地方，得到了兖州，就意味着拥有了山东半岛、河北大部等重要地方。初平二年（公元191年），黄巾义军将兖州刺史刘岱杀死。陈宫认为，如果拥有兖州，就可以利用兖州一步步夺取天下，成就霸王之业。于是在陈宫等人的努力下，曹操出任兖州牧，由此迈出了政治上更为有力的一步。
随即，曹操对黄巾军展开围剿，经过几个月的战斗，曹操大获全胜，黄巾军30万人、百姓百余万人投降曹操，曹操重新整编了这支队伍，整编后的部队起名为“青州军”。这支部队为曹操日后的发展，在军事上奠定了重要的基础。曹操就是利用这支军队纵横驰骋，败公孙瓒、破袁术、征陶谦、击吕布，所向无敌。
兴平元年（公元194年）春天，曹操为报杀父之仇，进攻徐州的陶谦。曹操的父亲曹嵩，董卓之乱时避难在泰山华县，曹操让泰山太守应劭护送父亲到兖州，陶谦则先于应劭秘密派遣数千骑兵到曹家，曹嵩以为是应劭所派军队，没有一点防备。陶谦大军先把曹操的弟弟曹德杀死，曹嵩害怕，从后墙出逃，他先让小妾翻墙，但小妾身体肥胖，好久才翻过墙去。曹嵩逃跑到厕所藏了起来，但仍然被陶谦军队发现，他与小妾先后被害，全家皆死。
关于曹操父亲被杀，历史上也有不同说法，除了上面所说是陶谦秘密派人把他们杀死之外，还有一种说法，是说曹操去迎接带着辎重百余两的父亲，陶谦派遣都尉张闿带领200骑兵护卫，但张闿在泰山华县、费县之间把曹嵩杀了，夺走了曹嵩所带财物，逃奔到淮南去了。曹操一气之下，归咎于陶谦，所以出兵攻打。这两种说法都有道理，但是，从曹操当时的情况来看，后者似乎更为有据，因为曹操借口攻打陶谦，实际目的是要占领陶谦地盘。不管怎样，曹操为了报杀父之仇，在攻打陶谦的同时，所过之处大肆杀戮，招致了后人更多的谴责。甚至有的历史学者说，正是因为曹操这次太过残暴，才导致了他以后的连续失败。
所谓的连续失败，是指如在濮阳与吕布的一次战斗中，曹操包围了濮阳，濮阳的大姓田氏作为内应，曹操顺利进入城中，田氏又放火烧掉了东门，以示绝无反叛之意。战斗中，曹操军抵敌不过，阵脚大乱，部队溃败。吕布的一位骑兵抓住曹操便问：“曹操在哪里？”曹操随口说道：“前面骑着黄马的便是。”这个骑兵放下曹操急急忙忙追赶去了。曹操来到城门，大伙仍在燃烧，曹操便冒着大火突围，但突然落马，左手掌被烧伤。司马楼异赶快将曹操扶上战马，快速逃去。曹操还未回到大营，便遇到自己的大将们因为未见到曹操而心生恐惧，曹操见状，亲自慰劳部队，同时命令部队赶快准备进攻器具，并迅速展开攻势，与吕布对峙一百余天，最后，蝗灾突起，百姓受害严重，吕布粮食也已用尽，双方各自引兵退去。
兴平二年（公元195年）夏，曹操进攻吕布大将薛兰、李封，吕布看到薛兰危险，便出兵相救，薛兰兵败被杀，吕布逃走后又与陈宫率万余人来战曹操。曹操的兵士都外出收麦去了，留在屯里的不足千人，敌人一旦发动进攻，大营难保。于是，曹操就命令屯中妇女守卫城墙，所有士兵外出迎击敌人。屯的西面有一道大堤，大堤的南面树木幽深，一眼望不到边。吕布来到之后，怀疑曹操在树林里埋有伏兵，便告诫说：“曹操诡计多端，千万不要进入他的埋伏圈中。”于是便命令军队在屯南十里驻扎。第二天，吕布再次带兵试图攻袭，曹操则将一半部队埋伏在大堤里边，另一半在大堤外等待机会。吕布进攻，让轻兵先行挑战，双方迅速交战在一起，这时，曹操伏兵迅速登上大堤，步兵、骑兵齐头并进，吕布猝不及防，大败而回。曹操夺得定陶。这年十月，献帝正式封曹操为兖州牧。
出任兖州牧、整编青州军，是曹操政治生涯中极其重要的一步，至此，他不但拥有了与其他军阀同样的政治地位，也拥有了足以与其他武装势力相抗衡的充足的军队，再加上曹操政治上的远见卓识，铲除各路军阀势力、平定北方、统一全国已不再是遥远的梦。