相傳，晉安帝義熙二年，陶淵明已是四十一歲了，在彭澤縣任縣令，一個月只有五鬥米的官俸，生活很清苦。

有一年冬天，陶淵明因身體不適，在內衙休息。他斜躺在病榻上，一邊烤火，一邊拿起去年寫的一首詩翻看。他想到上任八十多天來所看到的官場黑暗的種種情況，郁悶難解，更加懷念住在故裏山鄉的妻兒。

​

這時，一名衙役進來禀報：“啓禀老爺，浔陽郡李太守派督郵張大人來縣巡察，請老爺快去拜見。”

陶淵明一聽，不禁皺了皺眉頭。他記起剛出任彭澤縣令時，那天他一下船進城來到市井上，走著走著，突然前面傳來一陣喧鬧聲，只見一惡少嬉皮笑臉在緊緊追逐一個賣花的村姑。陶淵明上前，急忙將那少女護在身後，那惡少還要動手拉扯，跟在陶淵明身邊的差人上前喝住：“不得無禮，這是新來的陶縣令。”那個惡少斜了陶淵明一眼，傲慢地說：“縣令算什麽，我父親還是浔陽郡督郵呢！”原來這小子在他父親的縱容下，在地方上稱王稱霸，胡作非爲。不幾天，張督郵怕新上任的陶縣令對他兒子有所非難，即刻給陶淵明送來一封書信，弦外有音地規勸陶淵明，要他學會做地方官······

陶淵明對官場中那些奸邪小人，一向是非常鄙夷的。今天張督郵竟然找上門來了，陶淵明吩咐衙役回話：“就說我身體欠安，明日拜會。”

片刻之後，衙役返回禀報：“督郵大人叫你穿好官服，到大堂會見。”

陶淵明說：“要是不去會見呢？”

衙役急了，忙走上前附在陶淵明的耳邊悄悄地說：“督郵張大人原是我縣有名的富豪，一向很講究排場，現在又成了李太守的親信，今日來巡察，要是禮儀稍有不周，恐怕對老爺的前程不利。”

陶淵明輕蔑一笑，說：“哼！這等庸人，居然成了我的上司，我豈能爲五鬥米折腰！”說著，他打開櫃子，取出知縣的印信，交給衙役，說：“你把它交給督郵轉呈太守，就說我陶淵明告病還鄉，不當這個縣官了。”說完，就去收拾行裝。

陶淵明歸隱後，晚年生活愈來愈貧困。當風調雨順，農田收成較好的時候，還能過上清淡生活，但一遇上災年，有時就揭不開鍋了。在他的朋友們當中，也有主動送錢接濟他的；有時他也不免要上門借貸。

​

義熙元年，檀道濟任江州刺史。他早就聽說柴桑有個陶淵明，不願當彭澤縣令，隱居鄉裏，此人有蓋世的文才。檀道濟爲了顯示自己惜才，總想與陶淵明攀親結友。他曾幾次派人送來書箋，要陶淵明去州裏會見他，並表示願意周濟他。但陶淵明從未去見檀刺史。一日，檀道濟聽說陶淵明貧病交加，家中揭不開鍋，終日臥床不起。他決定親自去柴桑，拜訪陶淵明。

那天，檀道濟帶了一班人，前呼後擁，一路旌旗招展，浩浩蕩蕩地走向栗裏村，徑直來到陶淵明的家。

​

家中來了這樣的大官，陶淵明自然是以禮相待，起床給客人們沏上家園茶。檀道濟品嘗著這別有風味的香茶，贊不絕口，他說：“賢者處世應當是天下無道則隱，有道則至。今天適逢這文明之世，你何必要隱居故裏，過著這樣清苦的生活呢？”接著，命人把送給陶淵明的幾百斛粳米和十幾口豬羊擡了上來。陶淵明頓時覺得兩頰有些發燒，他拱了拱手，斷然說：“這決不敢當，決不敢當，粳米豬羊之類一定不能接受！我陶淵明哪裏夠得上稱什麽賢者呢！這並不是我故意裝腔作勢，只是由于個人的夙願，不敢妄與那些借歸隱爲名，一心想取得高官厚祿的賢者高攀。”檀刺史一聽這話，感到十分尴尬。真是話不投機半句多，但對陶淵明又奈何不得，于是立起身來大聲地說：“到州裏來坐坐吧！”陶淵明說：“好，後會有期，有機會我一定前去拜訪刺史大人。”

陶淵明送走來客，剛關上大門，就聽見外面吵吵嚷嚷，喧鬧不已。原來是那幫衙役順手牽羊，到老百姓的雞鴨圈裏撈一把，頓時鬧得栗裏村雞飛狗跳牆。鄉親們躲在家裏叫苦不叠。折騰了好一陣子，那些兵大爺才揚長而去。

​

這時，陶淵明帶著歉意，叩開鄉親們的房舍，說：“真對不起，驚擾了鄉鄰，這都是我惹來的麻煩。”望著檀道濟遠去的方向，陶淵明不禁感歎搖頭。

此後，陶淵明更是憤世嫉俗，他一心寫詩作文，過著詩酒自娛的生活。