而獨孤懷恩也真沒把自己當成外人，李淵有一次跟他飲酒之時，喝醉了戲言：“這大隋的天下現在落到了朕的手裏，以後恐怕也該輪到表弟你了吧！”
這句話倒是助長了獨孤懷恩的野心，回府之後，他就對左右親信元君寶說道：“以前我們獨孤家只有女人貴為皇後，太後，以後也應該輪到男丁們大富大貴了吧。”從此，元君寶等人開始在軍中活動，為其拉攏腹心死士，以圖不軌。