韩愈和张署经郴州桂岭，抵临武。
韩愈在临武县城住了十来天，他和张署两个人一道游山玩水，吟诗唱和，苦中作乐。
韩愈写有《答张十一功曹》：
“山净江空水见沙，哀猿啼处两三家。
筼筜竞长纤纤笋，踯躅闲开艳艳花。
未报恩波知死所，莫令炎瘴送生涯。
吟君诗罢看双鬓，斗觉霜毛一半加。”
十天后，韩愈要继续往南走了，张署实在舍不得朋友分别，便一步步相送，一直送到三十五里外九泽水驿站的湘粤界上才分手。
韩愈离开临武，出南天门，到达连州，再由连州乘船到阳山。
经过同冠峡时，他作了一《次同冠峡》诗：
“今日是何朝，天晴物色饶。
落英千尺堕，游丝百丈飘。
泄乳交岩脉，悬流揭浪标。
无心思岭北，猿鸟莫相撩。”
贞元二十年（8o4年）二月，韩愈经过六十多天的跋涉，来到距离长安三千八百多里的阳山。
在唐朝，贬官属于负罪之人。因此，在朝廷的文书中，往往将贬官与被流放的“流人”相提并论。因此，在韩愈贬谪阳山之时，与“流人”的地位是同等的。韩愈名义上是“阳山令”，实际上不得过问地方政事。
如果大唐有个贫富排名，当时的阳山绝对是倒数。唐代的阳山，是个既偏僻又贫穷的小县。韩愈在《送区册序》中说：“6有丘陵之险，虎豹之虞，江流悍急，横波之石，廉利侔剑戟，舟上下失势，破碎沦溺者，往往有之。县郭无居民，官无丞尉，夹江荒茅篁竹之间，小吏十余家，皆鸟言夷面，始至言语不通，画地为字。”
正当韩愈极度苦闷之时，南海文士区册闻讯远道而来，向他请教。两人一起“翳嘉林，坐石矶，投竿而渔，陶然以乐”。
韩愈还经常到附近的农舍，和农民一起饮酒喝茶，正如《远览》一诗所写：
“所乐非吾独，人人共此情。
往来三伏里，试酌一泓清。”
韩愈在朝廷屡受打击，来到岭南之后，从当地百姓中感受一种从未有过的真情，也从当地社会环境中感受到一种从未有过的宁静。这一切，都表现于他的诗作中，如《县斋读书》：
“出宰山水县，读书松桂林。
萧条捐末事，邂逅得初心。
哀狖醒俗耳，清泉洁尘襟。
诗成有共赋，酒熟无孤斟。
青竹时默钓，白云日幽寻。”
真是一幅世外桃源式的生活图景！
在阳山期间，韩愈的心日渐沉静，开始反思自己半生坎坷的原因，寻求生命的意义和价值。
在阳山大约一年之后，韩愈写下《县斋有怀》，在诗中他回顾了自己半生的经历，“少小尚奇伟”，抱有辅佐君王的雄心壮志，立志越前贤，领导改革，然而仕途并不顺遂。
“人情忌殊异，世路多权诈。蹉跎颜遂低，折气愈下……朝食不盈肠，冬衣才掩髂。”当好不容易得以任官，又被贬谪，“惟思涤瑕垢，长去事桑柘”，经世致用的韩愈甚至想到了归隐来开解自我。