184年，黄巾军起义，朝廷任命曹操为骑都尉，前往颍川***。由于***黄巾军有功，升任济南相，任职后罢免了贪污渎职的高官将近八成，并严令禁止当时风行的宗教迷信。因为曹操当政素称法令严明，济南国的违法作乱之徒听说曹操要来了，都纷纷潜逃到别的郡县。又过了很久，曹操被任命为东郡太守，但是曹操没有就任，而是称病回乡了。当时天下已开始大乱。先是发生了冀州刺史王芬联合南阳许攸、沛国周旌等地方豪强，谋划废黜灵帝的事件。王芬等人曾希望曹操加入他们，但被曹操拒绝（当时曹操对前来劝其加入的好友许攸说：“废立之事，天下之至不祥也。”）；后来王芬事败自杀。接着，又有西北金城郡（今兰州）的边章、韩遂杀死刺史和郡守，率兵十余万反叛朝廷。

这时，曹操被起用为典军校尉。不巧的是，正好此时（189年）灵帝驾崩了，年幼的太子刘辩即位登基，太后临朝听政。大将军何进想趁灵帝逝世、宦官失侍之机诛灭阉党，但没有取得太后的支持。于是何进便想召时任并州刺史的董卓进京，胁迫太后同意。不想此举打草惊蛇，没等董卓到京城，何进却被宦官先下手谋杀了。189年十二月董卓入京，把汉少帝废为弘农王，而立其弟陈留王为汉献帝，后来又派人把弘农王母子毒死。于是，京城也陷入混乱。为了稳定局面，董卓想拉拢曹操，上表奏请曹操为骁骑校尉。但曹操没有接受董卓给他的官职，而是更名改姓，潜逃出洛阳。

据传曹操在回乡途中路过成皋时，拜访故友吕伯奢，因疑心吕伯奢的儿子图谋杀害自己，便先下手把对方杀死。完事之后又悲伤地说：“宁可我辜负别人，不能别人辜负我啊！”在《三国演义》中，这个情节被小说作者大肆渲染，并通过让陈宫目击的角度表达对曹操品性的怀疑，已达到贬低曹操的目的。事实上，史书并未记载陈宫与曹操一起同行，而且陈宫并未担任中牟县县令，也没有捉住曹操然后释放。史书中只有杀害吕伯奢儿子的记载。

回到家乡陈留之后，曹操散尽家财征募义勇，率先揭竿起义，讨伐董卓。次年（190年）正月，后将军袁术、冀州牧韩馥、豫州刺史孔伷、河内太守王匡、兖州刺史刘岱、勃海太守袁绍、陈留太守张邈、东郡太守桥瑁、山阳太守袁遗、济北相鲍信等地方势力，一齐举兵反董。群雄推举袁绍为盟主。曹操则行使奋武将军之职。但董卓军势力强盛，袁绍等都不敢先出兵。曹操认为董卓焚烧皇宫，劫持皇帝迁都长安，大失人心，正是与之作战的好时机。于是独自引兵西进，结果于汴水遭董卓部将徐荣击败。曹操身中流箭，坐骑也伤重不起，后得曹洪出让自己的坐骑，才死里逃生。此时曹操自己所带领的兵士不过五千人[3]，而其他诸军兵士十余万，却每天只知饮酒作乐，不思进取。曹操为联军出谋划策，但未被采用。曹操只好与夏侯惇一起前往扬州招募兵勇，但也并不顺利。

局面僵持之时，联军内部却发生了变故。先是刘岱杀死桥瑁，让王肱当了东郡太守。接着袁绍和韩馥又考虑拥立幽州牧刘虞为帝，但曹操表示他还是拥戴长安的献帝，“诸君北面，我自西向”。从此，曹操就更加认为袁绍行事不正，为后来的官渡之战埋下伏笔。而刘虞最后也不敢接受，此事遂不了了之。册立新帝未成，袁绍却趁机胁迫韩馥，夺取了冀州。191年曹操讨伐入侵东郡的黑山军，袁绍上表朝廷推举曹操为东郡太守。192年四月，董卓被司徒王允和吕布所杀。