六月底，李善德带着家人平静地离开长安，前往岭南。一年后，他们在岭南安定下来，李善德成了一个地道的荔枝老农，照料阿僮的果园。赵辛民告知他，去年年底安禄山叛变，长安沦陷，圣人带着家眷弃城而走，并说他因祸得福，若不是当初得罪杨国忠被贬，恐怕现在还在长安做荔枝使。
