不过，赵家在赵匡胤长大的这十几年中却一步步衰落下来。赵弘殷本是后唐庄宗李存勖所宠爱的战将，自李存勖在兵变中被杀后，他就开始受到冷落。这期间，赵家又添了二男二女，家境也日益艰难起来。可以说，赵匡胤的青少年时代，是随着父亲走南闯北，打工卖艺度过的，从小就看尽了世间的眉高眼低，尝遍了生活的酸甜苦辣。

　　长时期的江湖漂泊生涯，养成了他喜打架，爱赌博，而且赌输不给，赌赢必要的赖皮性格。好在他生得方面大耳，身高力强，又会一些武艺，凡是与他家发生争斗的，多为败家。945年，赵匡胤结婚成家，当时19岁。成家应当立业，但家中窘迫潦倒的现状告诉赵匡胤，依靠家庭的帮助干一番事业的路子是走不通的。21岁那年，他毅然离家外出，决心在事业上闯荡一番。他先是去投奔几位从前的好友，但世态炎凉，他不但没有从这些有权有势的前辈那里得到关怀和帮助，反而受了不少的白眼和冷遇。

　　在流浪期间，据说赵匡胤还做了一件千里义送京娘的壮举。京娘是山西永济人，年方十七岁，随父母去曲阳烧香还愿遭劫，幸遇赵匡胤拔刀相救，千里护送，京娘感恩不尽，欲以终身相托。然而赵曰：“贤妹非是俺胶注鼓瑟，本为义气千里相送，今若就私情与那个响马何异?况施恩图报非君子所为。”京娘道：“恩兄高见，妾今生不能补报大德，死当衔环结草。”于是京娘投湖自尽，(后被追封为贞义夫人)京娘湖亦由此得名。

　　流浪生活是艰苦的，但赵匡胤并没有被压倒，相反，他的意志和性格磨炼得更为坚强，眼界也变得开阔了。期间，他在河南地面因打架闯了祸，官府派人四处捉拿。他先是逃到汉水边的重镇襄阳，住进了一家寺院。寺院的主持是一位年近百岁的老僧，饱经沧桑，阅世知人颇深。他见赵匡胤紫面丰颐，豹头环耳，虽满面风尘却掩不住英俊之气，一身破衣，却不带寒酸之态，心中暗暗称奇，待一交谈，更觉得其气度不凡。他告诉赵匡胤，汉水以南的各个政权比较稳定，而北方却战乱不止，乱世出英雄，所以应该北上，而不应南下。这位老者不但向赵匡胤“厚赠”了金钱，而且还将寺院中惟一的一匹驴送给他，让其骑驴北上。

　　于是他就偷偷溜过潼关，来到陕西，进入华阴地面。当知道官府捉拿的危险已悄然离去时，他才觉得腹内空虚，四肢无力，实在是一步也挪不动了。可是他怎么也没有想到，华山的陈抟老祖正在华山脚下恭候着他呢。

　　陈抟老祖，字图南，号扶摇子，毫州真源人，是北宋初年著名的道教学者和道教诗人。他在唐朝长兴年间举进士不第，便发誓不求禄仕，遂隐身山林，以山水为乐。据说他中历梁唐晋汉周五代，每闻换朝改姓，总是愀然不乐，闭门高卧。世间传他一睡经年，其实只是他忧心天下纷扰，百姓受苦，不愿出门。

　　传说他来华山隐居的路上，碰见一位老者肩挑箩筐，两只箩筐中各坐着一个男孩，当老头从他身边经过时，他大呼一声：“天下由此定矣!”高兴得差点从驴背上掉下来。此后逢人便说，那老头一肩挑了两盘龙。那老头，便是赵匡胤的父亲。

　　陈抟老祖算好赵匡胤这天要来华山避难，便装扮成一个卖桃老汉，挑着桃筐，拦在华山路口。越匡胤走一步，歇一步，又饥一渴，又困又乏，心里正盼着遇见个卖吃渴的，好吃一个饱哩，谁知瞌睡来了就有人递枕头。他老远望见两筐鲜桃，又红又大，顿时脚上来了劲儿，于是就一鼓作气跑了上去，不问三七二十一，狼吞虎咽地吃起来。不一会，两筐鲜桃便所剩无几。

　　吃罢桃，赵匡胤将嘴一抹，横下扁担，依着萝筐，倒头便睡，还不时把他那双大臭脚伸进陈抟老祖的怀里。陈抟老祖也不唤醒他，就在一旁悄悄地等着。一直等到日落西山，赵匡胤才醒来。可是他扛起盘龙棍，扭头就走。陈抟老祖连忙拦住说：“你这位壮汉，吃了我的桃，还躺在我的扁担上睡了一觉，睡醒了分文不讨，连个谢字都没有，扭头便走，讲不讲理呀?”