杨素本是杨广的人，他到了东宫，杨勇慌忙更换好了衣冠。哪知杨素故意东看一回花草，西看一回亭台，只是挨延不去。杨勇等候了多时，不禁着恼起来，待到杨素徐行入见，杨勇怒形于色说：“公姗姗来迟，究属何意?圣上虽欲将我废立，此时究竟尚未实行，你莫自恃功高，便不把我放在眼里。”杨素佯作失惊道：“老臣该死，进了园中，一因年迈，脚步迟了些;二因贪看了园中景色，因此有劳殿下久候。还念老朽可怜，恕罪一遭。”杨勇冷笑：“说得倒好，你来此做什么?”杨素又假意微叹说：“圣上不知听信了谁的谗言，意欲废立东宫。老臣素知殿下，仁德无亏，今日特来安慰殿下的。”杨勇听了，以为杨素真心好意，不免言语之中，露出怨愤。杨素听在耳中，回到宫里，见了杨坚，便一一说了出来。杨坚大怒，便在成德殿上，召集了百官宣诏废杨勇。过了数日，即立晋王杨广为太子。

　　后来，有一天大雪狂风，天气阴沉，被囚禁的杨勇爬上东宫院子里的大树，在风雪中向文帝的方向大声诉说自己的冤情，正巧文帝走出宫殿，听到了他的声音，问身边的杨素：“这是勇儿的声音，他在喊些什么?”杨素冷淡地答道：“前皇太子疯了，请陛下不用过虑。”

　　三儿子杨俊，也喜欢奢侈，贪恋女色，放高利贷剥削百姓。妻子为了报复他的冷落，在他吃的瓜中放了药，使杨俊得了病，后来又被父亲免官，后来，杨俊病死。

　　四儿子杨秀，不但奢侈，还总想效仿父亲，想着将来做皇帝。他的失败在于太显露，培植势力，编谣言为以后做皇帝造舆论。结果被哥哥杨广暗算，杨广唆使父亲把他调到了长安，然后寻找借口，强加罪名，杨坚在死前把他也废为庶人，即平民。

　　小儿子是杨谅，他在外地任职，也在积蓄力量，想以后争夺皇位。杨坚死时，他没有奔丧，而是起兵直奔京城，但很快被打败，做了俘虏。

　　杨坚年老，禁不起每日床笫声色，不久染病在床。他病重时让杨广等人进宫侍奉，临死时的杨坚终于看清了这个儿子的真面目，但也晚了。604年7月，他因为病重，卧于长安仁寿宫大宝殿内，杨广认为登上皇位的时机已到，于是迫不及待地写信给杨素，请教怎样处理将要到来的文帝后事。不料送信人误将杨素的回信送给了文帝。文帝读后大怒，此时，宣华夫人衣衫不整地跑进来，哭诉杨广乘她换衣时无耻地调戏她，使文帝更醒悟到受了杨广的蒙骗，拍着床子大骂：“这个畜生如此无礼，怎能担当治国的大任，皇后误了我的大事。”急忙命在旁的大臣柳述、元岩草拟诏书，废黜杨广，重立杨勇为太子。

　　杨广听说了，赶忙将侍奉杨坚的人全部换掉，与大臣杨素、张衡、宇文述等人乘机发动宫廷政变，带兵包围仁寿宫，赶散宫人，逮捕了柳述、元岩，右庶子张衡怀藏利刃，深入文帝驾前，一举结果了文帝杨坚。杨坚享年六十四岁。

　　杨坚的谥号是文皇帝，所以后世称他隋文帝，庙号是高祖。

　　杨坚创下的隋朝基业并没有坚持多久，隋朝很快就被历史上最荒淫无道的隋炀帝杨广挥霍掉了。隋朝从建立到灭亡有三十七年，但从589年灭陈开始算，仅仅二十九年。古代三十年算一世，隋朝这一世有两个皇帝在位，不过，还是比秦朝要长一些。

　　中国历史有两个循环很相似：第一个，乱世的春秋战国、短命的秦、长治久安的汉。第二个，乱世的三国两晋南北朝，短命的隋，长治久安的唐。