但很快，李輔國就將高力士與玄宗隔離了。
沒過多久，又將高力士流放到遙遠的南方。臨行前，力士請求最後見玄宗一面：“巨當死已久，天子哀憐至今日，願一見陛下顏色，死不恨！”輔國不許。力士痛哭出京。後代宗即位，大赦天下，力士北還，至湖南常德，接到玄宗去世的消息，七十八歲的高力士眼淚哭幹，吐血不止，絕食而死。