告别了贾至，李白乘着湘江上的船准备到零陵（今湖南零陵）去。那里也是大舜南征有苗而逝的地方，传说此地有帝舜的陵墓，是谓零陵。一路上，他晓行夜宿。到长沙，他凭吊了贾太傅祠；过衡阳，他登了衡山的祝融峰。就这样，他边走边游，走了半个多月，才来到了永州零陵。
在永州（治所在今湖南零陵），李白住在永州司户参军卢象家中。卢象在天宝初年曾任司勋员外郎，与李白过从甚密。老友见面分外高兴。
卢象厅堂正中立着一幅《梦游天姥吟留别》的草书屏风。《梦游天姥吟留别》一诗是李白的名作，以前曾应卢象之请寄给他的，如今却书写成了一幅龙飞凤舞的草书，制成了屏风。李白见此格外高兴，他在草书前面仔细地端详着。
卢象见李白对此草书极感兴趣，说：“这是兄的大作。我请了一位书法高手写了这幅屏风，你看写得如何？”
李白连连夸道：“好，好，此字写得如骤雨狂风、惊蛇走虺，章法多变，变而不乱，堪称书法之精品。我朝自张旭以来，此等之草书尚不多见。”李白又看了看落款，上写着“怀素敬书李太白诗于大唐乾元元年秋”。于是问道：“这个怀素是谁？”
卢象说：“怀素是个和尚，一个二十三四的少年上人。”李白高兴地说：“这个怀素倒是值得一见的人物。”
绿天庵坐落在零陵城东的东山上，又名叫藏真庵。因庵内种有一大片芭蕉林，绿叶蔽天，故附近的百姓都叫它绿天庵，庵的原名反而很少有人知道了。
卢象领着李白到了绿天庵，穿过芭蕉林，来到僧房前。一个年轻的和尚出来迎接。这个和尚骨格清奇，神态闲适。他见是当今大诗人李白到来，高兴万分。听说大诗人李白要欣赏他的书法，更是兴奋异常。他赶紧走进内室，将他书写的李白诗歌的书法作品抱了出来，一幅幅地展开让李白看。
李白打开一幅，书写的是他的《将进酒》；又打开一幅，写的是他的《蜀道难》；又打开一幅，写的是他的《行路难》；又打开一幅，写的是杜甫的《饮中八仙歌》。幅幅写得龙飞凤舞、神采飞扬。李白和卢象连连夸赞：写得好，写得好！
李白问：“还有吗？”怀素把他以前所写的书法都拿了出来，往案子上一堆。他们又看完了，李白又问：“还有吗？”怀素对李白和卢象说：“跟我来！”
三人来到芭蕉林中的一座小屋前。怀素打开了小屋门，让李白和卢象看。原来，屋内装的全是写满字的芭蕉叶。
怀素又领他们到林外的一个墙角附近，见那里有座像坟一样的土堆。土堆前竖着一块木板，上书“笔冢”二字。怀素说：“贫僧自幼父母早亡，只得到寺院为僧。由于身为沙弥，无钱买纸，只好种此芭蕉林，取芭蕉叶当纸练字。”
看着这满屋写满字迹的芭蕉叶和二尺来高的“笔冢”，李白仿佛看到怀素当年在芭蕉叶上苦练书法的情景：屋中的芭蕉叶越积越高，一支支破笔渐集成冢，涮笔的池水越来越黑，怀素仍埋头苦书不止。
李白对怀素苦练书法的事非常感动，说：“我也给你写一幅！”回到室内，怀素研墨铺纸，李白挥起紫毫，文不加点地写道：
少年上人号怀素，
草书天下称独步。
墨池飞出北溟鱼，
笔锋杀尽中山兔。
八月九月天气凉，
酒徒词客满高堂。
笺麻素绢排数箱，
宣州石砚墨色光。
吾师醉后倚绳床，
须臾扫尽数千张。
飘风骤雨惊飒飒，
落花飞雪何茫茫。
起来向壁不停手，
一行数字大如斗。
恍恍如闻神鬼惊，
时时只见龙蛇走。
左盘右蹙如惊电，
状同楚汉相攻战。
湖南七郡凡几家，
家家屏障书题遍。
王逸少，张伯英，
古来几许浪得名。
张颠老死不足数，
我师此义不师古。
古来万事贵天生，
何必要公孙大娘浑脱舞。
（《草书歌行》）
李白的这首《草书歌行》，有人怀疑是假的。因为在怀素的《自叙帖》中，他提到了中唐时代的钱起、卢伦、戴叔伦给他题诗夸奖，就是没有提起李白的这首诗。其次，苏轼也认为此诗是伪作，原因是李白此诗“抑扬太过”“大失毁誉之实”。郭沫若在《李白与杜甫》中却认为此诗为真作，认为诗中称怀素为“上人”和“师”只是对一般和尚的尊称，并非是特别尊崇。以笔者看来，此诗中对怀素草书成就的推崇，实际上是对青年书法家怀素的一种鼓励，是前辈对后辈的扶持和关心。“我师此义不师古”，是在推崇一种艺术的创作精神。虽然此诗在语言上夸张了一点，但这也是李白诗风的一个特点。对此诗，宋人刘克庄在《后村诗话》卷九中说“自有草书一来，未有能形容此妙者”，是对李白此诗的肯定和赞赏。
怀素对李白千恩万谢，说这是李学士对我的最大激励！
告别怀素后，卢象又陪李白到宁远县的九嶷山中去拜谒虞舜的陵墓。之后，二人又一同到衡阳的南岳衡山游了一遭，李白写了一首《与诸公送陈郎将归衡阳》的诗，描写了此行游衡山的感受：“衡山苍苍入紫冥，下看南极老人星。回飙吹散五峰雪，往往飞花落洞庭。”告别陈郎将后，李白又回到永州零陵住了几天，日日与卢象、怀素谈论诗歌，切磋书法，后闻荆州康楚元、张嘉延之乱已平，便又回到江夏。