曹操曾说：“丹阳山险，民多果劲，好武习战，高尚气力，精兵之地。”一代军事名家的这句评语，使得“丹阳精兵”名垂史册。
“丹阳兵”指出身扬州丹阳郡一带的士兵。丹阳郡建制于汉武帝元封二年（公元前109年），领17个县（东汉时曾增至19个县），地域大致包括今皖南、苏南西部和浙西北一带，郡治即是今宣州。其实丹阳兵在西汉时就已闻名天下。天汉二年（99年）九月，汉武帝令名将李陵率五千精兵出居延，至浚稽山迎战匈奴。匈奴单于召八万多精锐铁骑围攻汉军，竟连遭败绩。单于惊叹道：“此汉精兵，击之不能下。”无奈之下打算退兵。此时一个汉军叛徒告密说，李陵军箭支将尽，并且没有后援；匈奴这才拼死恶战。汉军伤亡惨重，五千军兵仅四百余人撤回关内。然而此战却令匈奴胆寒。这五千精兵的主力就是丹阳兵，小部分是楚地士兵。
汉末军阀混战，群雄并起。徐州刺史陶谦是丹阳郡人，徐州管辖兵马五万，而陶谦能掌控的只有自己的“老本”：三万丹阳精兵。陶谦手下并无大将，就是倚仗着三万子弟兵打败了黄巾军，坐稳徐州。后来曹操三攻徐州而不克，终于领教了丹阳兵的厉害。刘备增援陶谦抗曹，而当时刘备的势力极为单薄，陶谦便赠送给他四千丹阳兵；这支精兵成了刘备的“家底”，后跟随刘备转战千里，立下赫赫战功。
三国东吴政权的建立，丹阳兵居功至伟。据《三国志》及裴松之注等史料记载，孙坚死后数年，其长子孙策“志在立事”，去找袁术要还父亲的旧部；袁术开始并没有将年仅十多岁的孙策放在眼里，多次忽悠孙策。孙策坚持讨要，袁术便让孙策自己去丹阳募兵，他说：“丹阳地，以天下精兵辈出而闻名。”当时的丹阳郡太守吴景是孙策的亲舅舅，都尉孙贲是他的堂兄。在舅、兄的支持下，孙策很快招募到数百精兵。孙策后来因故又回到袁术帐下，继续忍受着袁术的耍弄。然而不久孙策的机会来了。朝廷任命刘繇为扬州刺史，当时扬州治所在寿春，而寿春被袁术占据，刘繇渡江改治吴郡曲阿，并赶走了吴景、孙贲。于是孙策对袁术说：“家有旧恩在东，愿助舅讨横江，横江拔，因投本土召募，可得三万兵，以佐明使君匡济汉室。”袁术“以刘繇据曲阿，王朗在会稽，谓策未必能定，故许之。”孙策趁机再次讨要父亲旧部，袁术只给了他一千多老弱残兵和几十匹马，但这些人里却有后来成为江东栋梁的程普、黄盖、韩当等人。
这时丹阳的新郡守是周尚，周尚的侄儿即是三国名将周瑜。周瑜与孙策同年，二人是生死之交。周瑜前往丹阳探望叔父，却遇上了孙策，孙策大喜道：“吾得卿，谐也。”周瑜“将兵迎策”，“遂从攻横扛、当利，皆拔之。乃渡江击秣陵，破笮融、薛礼；转下湖孰、江乘，进入曲阿，刘繇奔走。”接连征战获胜，孙策手中已积聚数万士兵，他继续向吴、会稽等郡进军，却让周瑜“还镇丹阳”。孙策深知，要想平定江东，成为一方诸侯，离不开丹阳的兵源和物质，因此必须坚守丹阳这个根据地。周瑜实际接管了丹阳之后，不断派遣“丹阳兵”，以及舟船粮草等供给，支持孙策横扫江东。孙策坐大，袁术才知上当，他派遣堂弟袁胤任丹阳郡守，令周尚叔侄回寿春。孙策根本不予理会，他将袁胤逐出，命自己的表弟徐琨为郡守。但孙策顾忌徐琨手握重兵，丹阳又是出精兵之地，颇不放心，便让舅舅吴景复任郡守。可见丹阳这个根据地在孙策心中的重要性。
孙策发迹之初，主要得益于一人一地，人即周瑜，地为丹阳。正如他自己所说：“周公瑾英隽异才，与孤有总角之好，骨肉之分。如前在丹阳，发众及船粮以济大事，论德酬功，此未足以报者也。”而周瑜的“发众及船粮”，就是派遣丹阳兵和输送丹阳的战略物资。东吴的天下，可以说大都是丹阳兵打出来的，从此丹阳在东吴的地位举足轻重，担任丹阳郡守的都是吴主亲信重臣，如程普、太史慈、黄盖、韩当等。
黄武元年（222年），孙权在江东称帝，立孙登为太子。孙权任命年方弱冠、素有“神童”之誉的诸葛恪为左辅都尉，领袖东宫幕僚。为考察诸葛恪的能力，孙权又令其代理节度，掌管军队粮草后勤。但诸葛恪却不乐意，他毛遂自荐要求担任丹阳郡守，说丹阳民风果敢刚劲，他要把那里的兵员全部调发出来，并说只要三年，就能征到甲士四万人，成为抵御外敌的劲旅。但直到嘉禾三年（234年），孙权才拜诸葛恪为抚越将军，领丹阳郡守。诸葛恪到任后，采用武力围困与招抚并用的办法，收服山民十万余人，他将四万壮丁编入军队，实现了自己的预言。吴国主将陆逊去世后，诸葛恪升任大将军。孙权病危，诸葛恪为托孤大臣之首；孙登即位，又任太傅，总揽东吴大权。诸葛恪广施德政，深得民心。神凤元年（252年），魏军分三路攻吴，其中七万大军猛攻东兴，吴守军告急，诸葛恪亲率四万丹阳兵驰援。援军赶到阵前，脱去衣甲，丢掉长大武器，只带短刀盾牌，奋勇冲杀，魏军死伤过半，惨败逃走。后来诸葛恪在东吴独断专权，肆无忌惮，一个重要的原因就是他手中握有一支丹阳精兵。
天纪四年（280年），晋大举攻吴。丹阳郡守岑莹率五千丹阳兵，以青巾缚头，以决死之勇，手执刀盾，向数次晋军阵地发起多次冲锋，居然突破了晋国大军的坚固防线。丹阳兵的战斗力令敌人闻风丧胆。
丹阳兵之所以神勇，是因为当时的丹阳郡是山越人的积聚地，山越民风强悍，骁勇善战，是各方霸主都想招募的重要兵源。但后来山越人或被剿灭，或被安抚出山，渐至被汉人同化，故而在晋代之后“精兵”的光彩不复重现。