再加上杨玄感“性虽骄倨”，就说他难免有官二代他们所具有的那骄蛮的性格。但是，他也有他的长处，“爱重文学，四海知名之士多趋其门”。爱交朋友又出身高贵，虽然在官场上显得有点骄傲，但是，杨玄感对那些名士、对那些士子们还是非常客气，礼贤下士。所以，他的社会声望也是与日俱增。

后来，杨玄感由颍州调到宋州，又在这里做刺史。做着做着，杨素死了。他没办法，只能丁忧去职。丁忧就是古代官员的父母死了，得回去服丧，这时叫丁忧。

按说杨素死了，杨素的越王之位应该让他袭爵，人家世袭罔替的呀。没想到，隋炀帝杨广没有叫杨玄感承袭越王之爵位，而是给降了一级，把王爵降为公爵，封他为楚国公——你不是在颍州当过刺史吗？哎，封你为楚国公，拜鸿胪卿，就是鸿胪寺一把手。

对这一点，杨玄感非常不满。但他心里也明白隋炀帝猜忌自己父亲。父亲为什么死？得了病了不吃药啊？杨素就知道皇上不愿意让我多活呀，盼着我死呢。我如果吃药，嘿，回头更会加害咱们家呀。既然皇上容不下我，我干脆死了。我死了，还能保全咱一门富贵呀。所以，杨素不吃药。于是，死了。不但如此，杨素的兄弟、杨玄感的叔叔?杨约?也被免职了，也是郁郁而终。杨玄感一看，这真是龙目无恩呐！我们家为朝廷立下多大功劳啊？我爹功高盖世啊！没想到，最后落得如此的下场！

而且，隋炀帝还曾经跟别人说过，说：“杨素，嘿！早晚终当夷族！”我就应该把他全族夷灭了！

这种言语就传到了杨玄感的耳朵眼里。您想，杨玄感会怎么想呢？您是杨玄感，您会怎么想啊？就等于朝廷对自己全家满门都不信任了。一旦是抓住自己一朝之错。那完了，我们老杨家就得灭门呐！杨广啊杨广，你大隋王朝为什么能这么稳当？可以说我们老杨家居功甚伟呀！你怎么当上的太子？怎么当上的皇帝？没有我爹，你能够吗，啊？哼！等到你做了皇帝位了，你要卸磨杀驴了，把我爹逼死了，把我叔叔也弄死了。哎呀……现在把我的王爵还给我降了，把我们越王府扒拉出一多半儿给了靠山王杨林……你也太欺负人了吧，啊？！你难道不知道我们老杨家的势力吗？！

杨玄感从小就生活在越王府上，那亲眼所见，天天的门庭若市。自己父亲过大寿的时候，那什么场面？来送礼的都堵一条街呀。我父亲的门生故吏可谓遍布天下呀。而且，我身边也都是一些贤士名臣呐，都是我的粉丝啊。这就叫政治资本呐！你杨广天天高高在上，龙目寡恩。过去帮助你的人，你都猜疑。这样一来，你就慢慢地失去人心了。那么彼消而此长，迟早有一天，嘿，我弄不巧可以取而代之！最起码的，我能够报复吧，嗯？我能够复仇吧？别忘了，我也是关陇的贵族啊！我们这老杨家不比你老杨家差！所以，杨玄感早就怀有不臣之心呐。

有了这份心之后，杨玄感性情大变。过去杨玄感还有那富家子弟、官二代的骄横劲儿。现在全没有了，变得非常深沉，而非常非常有长者之风。干嘛呢？这样一来，更能平易近人呢。平易近人，那更能交结天下豪杰了。他们弘农杨氏又是累世尊显的门阀士族。朝堂之上，自己父亲越王杨素又有很多的门生故吏。杨玄感本人又非常热爱文学，又盛名于天下，又这么一深沉一稳重一礼贤下士。哎呦……一时之间，四海知名人士多趋其门，纷纷来投啊。杨玄感尤其注意结交那些胸怀锦绣，但是又怀才不遇之士。

例如，当时有个诗人叫王胄，非常有文采、非常有才华。但是，怀才不遇。为何怀才不遇呢？没人儿啊。尤其，又遭到了隋炀帝幸臣诸葛颍的妒忌，再加上他又是南朝的降人。所以，一直以来，居官低微，提拔不了。这王胄也是天天怨天尤人啊。杨玄感得知之后，好啊，朝廷不理你啊，我理你！朝廷嫌你是南朝降人，我不嫌！杨玄感主动结交于他。

那您琢磨琢磨，王胄什么心情啊——哎呦，朝廷对我冷言冷语，好像我是外拨秧似的。但，你看看人家杨玄、楚国公！人家多高身份啊？人家仍然待我以密友啊。嘿嘿！看起来呀，朝廷当中，除了楚国公之外，都是瞎眼之辈、无眼之人！所谓士为知己者死，就是这个道理。古代士人很多都是如此——你对我好一点，我能够把心掏出来。所以，跟杨玄感越走越密、越走越近，成为密友了。