1916年，北洋政府驻日特命全权公使章宗祥与当时的交通总长曹汝霖、前驻日公使陆宗舆勾结，在段祺瑞指使下，与日本政府秘密谈判，出卖国家领土与主权，1918年与日本正式订立《中日陆军共同防敌协定》和《中日海军共同防敌协定》。同年秋，在北洋政府总统徐世昌和国务总理段祺瑞授权下，一天内向日本签押了三笔共计6000万日元借款，把我国铁路、矿产及其他权益出卖给日本，“欣然同意”日本政府继续占领济南、青岛和控制山东的要求。1919年初，代表北洋政府参加巴黎和会。当巴黎和会决定将德国在山东的权益归日本所有的消息传到我国时，激起全国人民极大愤怒。4月中旬，从日本回国，中国在日留学生数百人赶到车站，怒斥其卖国行径。1919年5月4日，北京爆发了中国历史上最著名的大规模学潮——号称“德先生与赛先生”的新文化运动由此拉开了序幕。
当此之时，整个北京高校校园和街头闾巷，风卷浪滚，泥沙俱下，豪杰并起，猛士如云。北大文学院长胡适麾下头号骁将傅斯年，率领队伍，高举大旗，喊着“还我山东”“还我青岛”等口号，一路浩浩荡荡来到天安门前游行示威，后又赶赴赵家楼痛殴了卖国汉奸曹汝霖，一把火烧了赵家楼，从而引发了社会各阶层的大震动，号称中国新民主主义革命的伟大爱国运动由此揭开了光辉的一页。
据可考的资料显示，就在傅斯年率队走出校园喊着口号示威游行时，大总统徐世昌正在设宴招待章宗祥等人，章对学生闹事的行为是很不以为意的，以为学生不过像在日本的中国留学生一样，要求改善伙食、多发生活费什么的。宴毕，章宗祥随同交通总长曹汝霖回到了位于东单东堂子胡同的曹宅（注：此宅原为明代在位时间仅6年的明穆宗隆庆朝文渊阁大学士赵文肃的宅邸，俗称赵家楼），章宗祥早在日本留学期间就与曹汝霖最为相契，这次进京述职就寄居在曹家。不过，章宗祥万万没有想到，他随曹汝霖回到赵家楼不久，就有大队的学生游行队伍呼喊着口号来到了门前。不久大门被打开，学生们蜂拥而入。曹汝霖见势不妙，连忙吩咐仆人引章宗祥躲进地下锅炉房，自己则藏进了箱子间。学生进门没找到曹汝霖，气愤地一把火点着了曹宅（赵家楼）。章宗祥觉察到火起，急忙从锅炉房中逃出，正好被学生撞个正着。学生们意外地发现原来章宗祥这个卖国贼也在这里，遂报以老拳。章宗祥被揍得鼻青脸肿，不省人事。这时，警察总监吴炳湘率大队巡警赶到，救出章宗祥，送进日华同仁医院。这就是五四时火烧赵家楼，痛打汉奸章宗祥的一幕。6月10日，北京政府被迫下令将曹汝霖、章宗祥、陆宗舆等三人免职。
五四运动以及火烧赵家楼事件，对曹汝霖刺激很深，他发誓不再过问政治，愿做在野之民。但有一次例外，他曾向蒋介石建议中国军民要积极抗战。据曹汝霖回忆说，七七卢沟桥事变后，他受蒋介石之邀在庐山住了数日。曹说：有一天蒋招待午餐，并相约到别室谈话，“蒋先生精神充沛，态度从容，没有自尊自大之意，却有诚恳亲近之感。坐定后，他即问，你对日本战事，怎样看法？我略谦逊道，我以为九一八事变之后，经过五六年，当时日本政府尚无扩大战争之意，且有控制军人之力，那时却是谈判的机会，可惜张宋两位都没有与他们诚意谈判，失此机会。后来日本不守塘沽协定，节节推进，占领地方已不少。虽然占领的只是点与线，已使国军攻守为难。目下日本政府已没有控制军人之力，要想和平解决，摄于军人，无从谈起。军人气焰愈高，欲望越大，少壮军人已渐抬头。此时我们决不能谈和，为民族为国家，只有抗战到底一途了。蒋听了微点首。……后众异问我，君向主亲日，何以对蒋先生说抗战到底的话，莫非违心之论？我曰不，所说的都是由衷之言。我主张亲日，不是亲帝国主义者的日本。现在他们侵略我国，与我为敌，怎能再讲亲善？”
抗战爆发后，日本想延揽旧北洋政府各部次长以上的官员出来任职，曹、陆、章三人都拒绝了，曹汝霖曾公开表示要以“晚节挽回前誉之失”。华北伪政权给他挂了个华北临时政府最高顾问和伪华北政务委员会咨询委员的头衔，据说曹汝霖并无实权，从不到职视事，不参与汉奸卖国活动。章宗祥1928年后寓居青岛，1942年亦被挂上伪华北政务委员会咨询委员的头衔。抗战胜利后戴笠进北平捉拿汉奸，首先就把曹、章扣了起来。后来曹汝霖给蒋介石写信，声明自己一直经商，从未出任过伪职。蒋接信后让戴笠放人。戴笠并当场向曹汝霖致歉。曹又代章宗祥求情，证明他也不曾出任过伪职。蒋介石问明其人就是五四运动中挨打的那个“章”以后，也下令把他放了。
曹汝霖1949年逃往台湾，后至日本、美国。死于底特律，生前对五四运动这一重大事件及人事纪葛仍念念不忘，他在《一生之回忆》中对五四有这样的评价：“此事距今四十余年，回想起来，于己于人，亦有好处。虽然于不明不白之中，牺牲了我们三人，却唤起了多数人的爱国心，总算得到代价。又闻与此事有关之青年，因此机缘，出国留学，为国家成就人才。在我呢，因之脱离政界，得以侍奉老亲，还我初服。所惜者，此事变化，以爱国始，而以祸国终，盖学潮起始，由于学子不明事实真相，误听浮言，激于爱国心，以致有越轨行动，情有可原，迨北大校长蔡孑民先生，发表谈话，劝学生适可而止，学潮似已平息；然反对者以尚未达到目的，又鼓动街头演说，加以背后有组织，有援助，遂扩大范围，游说至上海等处。迨至我们三人下台，钱阁引咎，蔡校长亦辞职南下，反对者已如愿以偿矣。”