杨坚为汉太尉杨震的第十四世孙。传说他的母亲吕氏在生他的前夜，曾梦见腹内苍龙盘踞。杨坚出生后，目如星斗，手有奇纹，细辨为一个王字。父杨忠见其生相奇特，不知将来会成个什么人物，于是就去求教僧人。一位老尼说：“此儿今世贵不可言，但必须离开父母，方能养大，贫尼愿为抚养。”吕氏便把杨坚交给老尼去收养。老尼姑单身住庵，一天出门化缘时将杨坚交给临庵居住的一家妇人照管。邻居的妇人抱着杨坚玩，忽然见他头上生出双角，满身遍起鳞甲，吓得大呼小叫，丢开杨坚，夺门而出。老尼姑正好此时赶回，抱起摔在地上的杨坚说：“实在惋惜，惊我儿迟得几年天下！”

数年后，杨坚长大，老尼病故，方回到杨家。周武帝见他相貌魁奇，多次请人为他相面，相者都说他后有大福。

一次杨坚在长江上行舟，晚上在船上梦见自己没有左手，醒来后心里很不是滋味。天亮时船行到武昌东三十里的地方，见岸上有座寺庙，就登岸拜佛。寺庙狭小且破败不堪，然而寺里的老僧却造诣颇深，在方圆很有名气。杨坚便把梦中的情景告知老僧，老僧听罢连声祝贺说：“恭喜！恭喜！先生梦无左手，实为独拳，独拳者，独权也，先生日后定为天子。”杨坚统一了隋朝天下，登上皇帝宝座，为了感谢僧人的先见之明，便把老僧住过的寺庙改建为吉祥寺。此事也被文人写人《独异志》一书，流传至今。