有一次隋煬帝邀請重臣楊素一起釣魚，并打賭二人同釣，先得者為勝，遲得者罰一杯酒。

過不多時，隋煬帝接連釣了兩條魚，并向楊素炫耀。楊素這個人向來是爭強好勝，這時候臉色有點不好，微有怒色，便說道：“燕雀安知鴻鵠之志，待老臣施展釣鰲之手，釣一個金色鯉魚，，為陛下稱萬年之觴如何？”隋煬帝見楊素說如此大話，一點君臣禮貌都沒有，心有不滿，借口上廁所，起身回了后宮，滿臉怒氣。

隋煬帝的皇后蕭氏問他為何生氣，煬帝說：“楊素這老賊，驕傲無禮，在朕的面前非常放肆，朕想找?guī)讉€宮人殺了他，方泄我心中之恨。”蕭皇后阻止道：'楊素是先朝老臣，，而且對于陛下有功，現(xiàn)在無故殺了，，其他人肯定不服。況且他又是一個猛將，幾個宮人怎么殺得了他，而且楊素又有兵權(quán)，一旦刺殺失敗肯定會有后患的?！彼鍩塾X得蕭皇后說的有道理，就回到了楊素身邊。

這時，隋煬帝看到楊素坐在楊柳之下，，風神俊秀，相貌魁梧，幾縷如銀白須，趁著微風，兩邊飄起，，恍然有帝王氣象。隋煬帝看了有些妒忌，恰巧楊素這時釣上了幾條金色鯉魚，向隋煬帝炫耀道：“有志者事竟成，陛下您覺得老臣怎么樣？'隋煬帝勉強笑了笑，這時候他已經(jīng)開始忌憚楊素了。

史書上記載，開皇四年，楊素官拜御史大夫。因為他的妻子性格強悍，楊素生氣狂言說我要是天子，肯定不會讓你當皇后。結(jié)果被妻子告發(fā)了此時，當時的隋文帝楊堅投鼠忌器，楊素僅僅被免官，不久又因功東山再起。隋煬帝不比他父親，沒那么大胸懷，忌憚楊素是很顯然的事情了。