趙桓一幹人終日所津津樂道的，還是什麽立東宮、開講筵、肅異黨、詳禮儀之類。李綱認為這些事都不是眼下應當做的，其中有些事還非常無聊，因此態度消極很少參與，這就顯得與人格格不入，比較不合時宜，無形中便變成了一個孤立的另類。他與皇上趙桓的關系，亦在不知不覺中漸次疏遠。