心中一直憋懷恨意的李懷光越想氣越不順，索性他“頓兵不進”，多次上表暴揚盧杞等人的罪惡，大有不給個說法絕不罷休之勢。同時，眾議渲騰，都認為盧杞奸惡，誤君誤國。不得已之下，德宗於建中四年（公元783年）底下詔，貶盧杞、白志貞和趙贊等三人為僻遠小州司馬，並殺掉李懷光表奏中屢屢提及的宦官翟文秀。