杨坚长相奇特，据说有龙犀之相，有帝王之貌，以致他的死对头陈叔宝看到画像后惊惧万分。《资治通鉴》上有一段非常有趣的记载：陈朝至德元年(公元583年)十一月，陈后主陈叔宝遣散骑常侍周坟、通直散骑常侍袁彦出使隋。陈叔宝听说杨坚状貌异人，便让袁彦画像而归。当陈叔宝看到杨坚的画像后，大骇道：“吾不欲见此人!”立刻命人将画扔了。
根据《隋书》的记载，杨坚“为人龙颔，额上有五柱入顶，目光外射，有文在手曰王，长上短下，沉深严重。”由上面的描述可以看出，杨坚的相貌有五“奇”：一、额头突出，并有五个隆起的部分从额头直插到头顶上;二、下颌很长，而且很突出;三、目光犀利，咄咄逼人;四、掌纹形似“王”字;五、上身长，下身短。
他这个长相，生下来不久就让他的母亲吕氏“大骇”了一回。吕氏在冯翊(今陕西大荔)般若寺生下杨坚时，“紫气充庭”。这时，有个从河东来的尼姑对吕氏说：“这个孩子不是凡人，不能在凡间养。”于是，尼姑把他抱到庙里一个别院躬自抚养。吕氏有一次抱起小孩，发现小孩头上长角，身上长鳞，又惊又怕，把小孩丢在地上。尼姑进来看到，说：“已经惊到了我的孩子，他要多花些年头才能得到天下。”《隋书》、《北史》隋本纪上都记载说，杨坚在庙里一直长到12岁才回家。
在古代，这种相貌却是“其贵无比”。杨坚的额头突出，额头上有五根“入顶”的肉“柱”，用相书上的术语叫做“龙犀”，是帝王的象征。唐朝李善说：“额有龙犀入发，左角日，右角月，王天下也。”也就是说，这种囟下骨头隐起，下连鼻梁不断的“龙犀”，以及由于额头上隆起，在左右鬓角形成的肉“角”，都是“王天下”的贵相。相书上对这种长相还另有一个说法，叫做“龙颜戴干”，龙颜自然是指帝王的相貌，戴干就是指头部有肉突起如干戈对立。据说帝颛顼就是这副长相。
当时，很多人认为杨坚有帝王之相。在陈后主陈叔宝之前，就有人为杨坚的相貌而担忧、畏惧和嫉妒，这个人就是北周太祖宇文泰，他曾叹曰：“此儿风骨，不似代间(瀚海沙漠群)人。”
齐王宇文宪对当时的北周皇帝宇文毓说：“杨坚相貌非常，臣每见之，不觉自失。恐非人下，请早除之。”宇文毓说：“他不过只能做个将军而已。”内史王轨也对皇帝说：“皇太子非社稷主，杨坚貌有反相。”帝不悦，曰：“必天命有在，将若之何!”杨坚听说这件事后非常害怕，深自晦匿。
宇文毓虽然强为镇静地说“必天命有在，将若之何”之类的话，其实心里也有点害怕，派善于看相的赵昭去为杨坚相相面。赵昭坚信杨坚“当为天下君”，他采取了一个两面派的手法：他一面骗宇文毓说杨坚只是一个“作柱国(官职名)”的材料，另一方面又去巴结杨坚，把真相都告诉了他，并悄悄地对杨坚说：“公当为天下君，必大诛杀而后定，善记鄙言。(你一定会当皇帝，而且一定要经过大屠杀才能坐得稳，千万记住我这句话。)”
杨坚的这副相貌，让他付出了不少代价：在襁褓里就差点被自己的母亲摔死;长大之后，又受到同僚的嫉妒和皇帝的猜忌，时刻面临被害的危险。但杨坚却没有对自己丧失信心，因为看到杨坚相貌而对他抱有信心的人，不止赵昭一人。《隋书·庞晃传》中记载，杨坚任随州刺史时，路经襄阳，卫王令庞晃拜见杨坚，因为杨坚“相貌非常”而巴结他，向他表忠心，希望他当了皇帝之后，不要忘记自己。而杨坚听后，只是富有深意地笑着说：“不要瞎说呀!”杨坚的心思，在这一“笑”之中昭然若揭了。
赵昭、庞晃，还有郑译、卢贲、窦荣定等人，日后都成为杨坚的亲信和心腹，为他篡夺北周皇位和创立隋朝天下，起了很重要的作用
