天宝五年七月，贵妃因妒忌发横，冒犯玄宗，玄宗让她乘坐单车，令高力士送还杨铦的宅第。才到中午，玄宗便想念贵妃不已，竟至食不下咽，动不动便发怒。高力士探明了玄宗的心意，奏请将贵妃接回来，并先行送去宫、衣物以及司农寺所辖的米面、酒肴百余车。贵妃被遣回家之初，贵妃诸姐妹及杨铦惧怕灾祸来临而全家聚集哭泣，及到帝恩降临，又送来御馔酒食，大家才稍感宽慰。贵妃被遣出宫之初，玄宗无聊，从他身边走过的太监，有些竟遭到鞭打，以至于有因惊恐而死亡者。高力士见此情状，便请奏召还贵妃。到了夜禁之时，便打开安兴坊门，让贵妃从太华公主的宅第进入宫中。到了清晨，玄宗便于内殿召见贵妃，满心喜悦，贵妃跪拜，哭泣谢过。玄宗诏令召来京西两市的杂戏班子进宫演戏，让贵妃欢快，贵妃的姐妹们也进献了食物，与她一同作乐。从此之后，玄宗对她的宠幸一日深似一日，后宫之中再没有人能得到玄宗的宠爱。

　　天宝七年，加封杨钊为御史大夫、京兆府尹，赐名国忠。封大姨为韩国夫人，三姨为虢国夫人，八姨为秦国夫人，她们同一天接受封命，每人给月钱约十万，作为她们扮妆脂粉之用。但，虢国夫人不施脂粉，为炫耀自己的美艳，常常不施脂粉便去朝见玄宗。当时杜甫就有诗写道：虢国夫人秉承皇上宠恩，清晨上马进入皇宫大门。

　　却嫌脂粉玷污娇美容颜，

　　随意梳妆便去朝见至尊。

　　玄宗又赐给虢国夫人照夜明珠，秦国夫人七叶冠，国忠锁子帐，这些都是稀世之宝，玄宗对他们的恩宠竟是如此之深。玄宗又授杨铦银青光禄大夫鸿胪卿，出行时前列棨戟仪仗，又特授上柱国，一日之内，接连三次下诏令。她们与国忠五家府第建造在宣阳里，大门洞开，超过臣下建造府第的规定，隐然与皇宫相似，车马仆从，照耀京城。他们每每互相炫夸奢华，每建造一堂，费用超过数千万;看见别人府第的建置比自己的雄壮宏伟，便将自己的毁掉而重新建造，大兴土木工程，简直不分昼夜。玄宗赏赐御食以及外方进献之物，都要颁赐五家。自从开元以来，豪贵们的荣盛，没有谁可以与之相比。

　　玄宗不论去哪里，必与贵妃同行，如果乘马，则是高力士为她执辔授鞭。宫中掌管贵妃所用刺绣织锦的有七百人，雕镂器物又有数百人，供贵妃生日及各时节庆典使用。玄宗又接连派杨益出使岭南，当地官吏每日搜求新奇物品进奉。岭南节度张九章、广陵长史王翼，因为端午节进贡给贵妃的珍玩衣服，同其他各郡不一样，张九章便加封银青光禄大夫，王翼提拔为户部侍郎。

　　天宝九年二月，玄宗原置有五王帐，长枕大被，与他的兄弟们共处帐内。不久，贵妃便悄悄地将宁王的玉笛拿来吹奏。于此，诗人张祜有诗道：“静寂的梨花院落无人观见，闲来只把宁王玉笛横吹。”因为此事，贵妃又违忤圣旨，被放逐出宫。当时吉温与宫中太监头目很友善，国忠害怕，向吉温求计，然后进宫面奏玄宗，说：“贵妃，只是一位妇人，没有智慧识见，现今她违忤圣上，罪该当死。但她既曾蒙受过圣上的恩宠，只该死于宫中。陛下何必爱惜一席之地，使她就戮于宫内呢?

　　难道忍心见她在外受到凌辱吗?”玄宗说：“朕任用爱卿，并不是因为贵妃的缘故。”当初，玄宗令中使张韬光遣送贵妃回去，贵妃哭泣着对韬光说：“请奏圣上：贱妾罪该万死，衣服之外所有的东西，都是圣恩所赐，只有头发、肌肤是父母所生。现今我就要死了，没有东西向皇上表示感谢。”说完，便拿起剪刀剪下一束头发，交给张韬光，让他献给皇上。贵妃被放逐出宫后，玄宗内心怅然若失。到这时候，张韬光便将贵妃铰下的头发搭在肩上，向玄宗奏明。玄宗非常惊叹惋惜，立刻派遣高力士召贵妃回宫，从此之后，对贵妃更加宠爱，并又加封杨国忠遥领剑南节度使。

　　天宝十年上元节，杨氏五府之人夜游街市，与广宁公主的随从争从西市门出入，杨家的奴仆挥鞭打人，不注意碰上了公主的衣服，广宁公主堕马，驸马程昌裔急忙去搀扶公主，也被鞭击。广宁公主哭泣着向玄宗奏明此事，玄宗诏令斩杀杨家奴仆一人，令程昌裔停职在家，不许上朝。于是，杨家更加骄横，出入宫门，无人敢问，京城长吏，对他们只有侧目而视。因此当时民谣说道：“生女不要悲伤，生男不要喜欢。”