北魏普泰元年(公元531年)七月，名重北方的弘农杨氏惨遭灭门，包括前太保杨椿、司空杨津在内一百多口被控制朝政的尔朱氏“无少长皆杀之”，舆论震动，“朝野闻之，无不痛愤”。曾经“一门七郡太守，三十二州刺史”的显赫世家，侥幸逃脱的不过数人而已。
杨津的一个儿子叫杨愔，身在邺城，被相州刺史刘诞抓起来，派人押送到洛阳，途中押送的人跟着杨愔一块逃往了。国破家亡，身在通缉之列，举目四望，尽是尔朱势力，杨愔逃亡路上几经辗转。不久，东道大行台渤海王高欢在信都(今河北省邢台市)公开反对尔朱氏，杨愔前往辕门投递名刺。在两人的第一次会面中，杨愔首先赞扬高欢的“义举”，然后诉说家门之祸，声泪俱下，高欢都跟着难过起来，随即任命杨愔为行台郎中。
世家出身的杨愔并非一般纨绔子弟，年少成名，却能低调做人。他字遵彦，人们多直接称为杨遵彦，小名秦王，博学能文，早年拒绝出仕。尔朱荣曾想把自己的女儿嫁给他，杨愔装病推辞，与另一位文坛领袖邢邵在嵩山隐居。
普泰二年(公元532年)正月，高欢攻占邺城，俘虏囚禁杨愔的刘诞，升杨愔为大行台右丞。这一时期丞相府中的檄文教令多由杨愔出自杨愔手笔。二月，高欢与尔朱氏在韩陵展开决战，杨愔作为文臣，冲杀在前，以致当时的人们评论说：“杨氏儒生，今遂为武士，仁者必勇，定非虚论。”
四月，高欢占领洛阳，尔朱氏败亡。杨愔辞职回到华阴老家，准备重新安葬被杀的杨家众人。由高欢扶立的孝武帝元修已下旨给杨家平反，大加追封，“一门之内，赠太师、太傅、丞相、大将军者二人，太尉、录尚书及中书令者三人，仆射、尚书者五人，刺史、太守者二十馀人”，极尽哀荣，“古今未之有也”。这年冬，杨家出殡，“吉凶仪卫亘二十馀里，会葬者将万人”。当天风雪交加，杨愔“跣步号哭”，闻者哀之。
办完丧事不久，杨愔又被高欢叫到晋阳，继续担任大行台右丞，但是不久发生的一件事情使杨愔不得不再次逃亡。杨愔有个幸存下来的堂兄杨幼卿(幼卿应该是他的字，名字无记录)任岐州刺史，上书得罪孝武帝，被孝武帝给杀了。亲人本来就不多了，又被杀一个，杨愔一下子就病倒了，前往雁门郡温泉疗养。
杨愔离开后，高欢的一个宠臣郭秀接任大行台右丞，嫉妒杨愔的才能，就写信对杨愔说你要被你的堂哥连累了，高丞相准备把你送到皇帝那边，还假惺惺地劝杨愔赶紧离开。听到这个消息后，杨愔也慌了，毕竟刚刚被灭过门，难免有些草木皆兵。于是杨愔把衣服扔在河边，制造跳河自杀的假象，然后改名刘士安，第二次上嵩山隐居，后来觉得山上也不安全，离洛阳太近，又一路向东，离开大陆，躲进了田横岛。
在岛上杨愔当起了教书先生，沿海百姓见面都称他刘先生。当地的太守王元景知道杨愔的真实身份，还有意帮他隐瞒。
两年后，高欢得知杨愔并没有投河自杀，就派杨愔的堂哥杨宝猗带着自己的亲笔信前去召抚杨愔。杨愔回到太原后短暂地担任太原公高洋的司马，这段经历加深了杨愔与高洋的关系。不久杨愔第三次出任大行台右丞，封华阴县侯，后又前往邺城的东魏朝廷担任给事黄门侍郎。高欢还把自己的一个女儿嫁给杨愔，结为亲戚。此后十年间，杨愔在邺城官场逐步升迁至吏部尚书，长期负责朝廷的人事。
公元547年正月，一代枭雄高欢去世，长子高澄继续掌权。在高澄与其弟高洋密谋称帝的过程中，杨愔发挥了重要作用，深得二人信赖。
八月二十七日，高澄与杨愔及散骑常侍陈元康、黄门侍郎崔季舒在府中筹备称帝事宜，遭遇刺杀，高澄、陈元康丧命，崔季舒躲进厕所，杨愔仓促脱身，混乱中丢掉了一只鞋。高洋返回大本营晋阳安抚人心，留杨愔在邺城稳定局势，期间高洋与杨愔多次密书往来。
公元550年五月，高洋正式即位，建立北齐，是为文宣帝。杨愔自吏部尚书升任尚书右仆射，同时高洋还把自己的妹妹太原长公主嫁给他。杨愔第一次娶的高欢女儿是庶出的，而这位太原长公主就厉害了。她是高欢的二女儿，与高澄、高洋及常山王高演、长乐王高湛都是娄太后亲生，527年被魏孝静帝立为皇后，高洋称帝后封公主。能娶到皇后在当时绝对是殊荣，即使在整个中国古代史上能有几人。
高洋在位前期还能勤于军政，后来“肆行淫暴”。有天，高洋突发奇想，让杨愔拿着“厕筹”(古时用来擦屁股的竹条或木条)进宫，又没理由地用马鞭抽打杨愔，血染衣袍。这还不算完，高洋还想拿刀子扎杨愔的小腹，吓得旁边的崔季舒赶紧上前拦下，再或者将杨愔仍进棺材里。
虽然高洋昏暴，但是能把政务交给杨愔处理。杨愔升尚书令，封开封王，(成为弘农杨氏获得王爵第一人)，居宰相之位，把各项政务处理得井井有条，而且博闻强记，风采出众，不报私怨，提拔贤能，望重一时，对北齐前期的发展作出重要贡献，在当时存在着“主昏于上，政清于下”的说法。
公元559年十月，高洋病逝于晋阳，太子高殷即位，杨愔居四辅政大臣之首。此时高洋的弟弟太师常山王高演、大司马长广王高湛得太皇太后娄氏支持(高洋刚去世的时候娄太后就想立高演为帝，不过没有成功)，辅政大臣中的司空平秦王高归彦也向高洋兄弟靠拢，与支持幼主高殷的其他三位辅政大臣关系微妙。这时候，杨愔又决定撤销高洋晚年的各种滥加封赏，虽然自己自己首先辞去开封王作为表率，但还是得罪许多鲜卑勋贵。这些人相互勾结，给杨愔准备了一场“鸿门宴”。
公元560年二月二十三日，高演在尚书省举办宴会，邀请百官参加，提前埋伏下亲卫。在去参加宴会前，有人劝杨愔不可不防，但杨愔认为自己所做都是为了国家，对于高演的邀请自己没有不去的道理。
酒行三巡，伏兵突出，拳棒交加之下，杨愔头破血流，一只眼被打瞎。拿下杨愔等人后，高演、高湛、高归彦及鲜卑勋臣贺拔仁、斛律金押着杨愔突入皇宫，在娄太后的支持下，强迫幼主高殷承认政变的合法性。这时候，娄太后希望保下自己女婿的性命，但高演与高湛却不想留下妹夫不，杨愔惨遭杀害。
自古以来，削藩都是件危险的事情，如果在位皇帝强势，尚能控制局面，一旦幼主在位，异姓宰相极易被同姓亲王反噬，汉文帝尚有七国之乱，明惠帝更遭靖难之变。正如杨愔在被捕前所说：“尊天子，削诸侯，赤心奉国，何罪之有!”事后娄太后出席杨愔的葬礼，给杨愔被打瞎的那只眼做了一只黄金眼补上，说：“杨郎忠而获罪。”
成王败寇，是非自在人心。杨愔死后，接替他担任宰相的是赵彦深，能力比不上杨愔，当时名士阳休之谈论二人，说：“将涉千里，杀骐骥而策蹇驴，可悲之甚。”自此，主昏于上，政乱于下，北齐王朝江河日下。
随着杨愔的死，弘农杨氏退出北齐政治舞台。而在北周，杨家的故事刚刚开始。