许夫人辞世之后，对于安陆这个居住了十年的地方，李白是不想留也不能留。
其一，李白与许夫人结婚后，并没有住在许家，而是自己购置的房产，在离许家不远的地方白兆山，但这种形式，并不能改变入赘的实质，这是一件令李白苦闷却又不足以为外人道的事情。
其二，根据《旧唐书·李白传》记载“李白，字太白，山东人。父为任城尉，因家焉”，把李白说成是山东人，是旧唐书的谬误，“父为任城尉”，也不大可能，李客就是一个商人。按时李家确有许多族人在山东，他的六叔在任城当县令、族兄在汶上当县令、族弟在单县当主簿、从祖在济南当太守、近世族祖在鲁郡当都督。这么多家里人在山东，不去住两天，都说不过去。
其三，当年在江陵金堆驿遇到从北庭回来的侯矩，叫李白日后去徂徕山找韩氏学剑。
这三个原因加在一起，李白就决定到山东。
说到这个韩氏剑，来头还不小。源起于战国以来仉督氏的射艺。督氏一族，原本是宋国华父督之后，不知何代迁于督亢，也就是范阳。之后又与鲁地迁来的仉（音掌）氏连姻，以“仉督”为姓，世代独传一门据说是源自孔门儒生的弓箭之术。
仉姓，即掌氏，战国时孟子母即是仉氏。督亢这个地方，当年荆轲刺秦，“图穷匕见”的“图”，就是督亢之地图。
这一门在春秋时代卿士大夫人人都能上手的技艺，经过两汉魏晋南北朝之后，仅仉督氏以家学传之，一向不收外姓弟子。到了隋末，天下英雄并起，有一个日后为唐高祖李渊用为左骁卫长史的王灵智，自幼听说仉督箭艺冠绝天下，遂带着钱，出潼关，到范阳。
王灵智出手豪绰，散财攀交，这一点与李白颇为相似，终于打听到“仉督氏”于人世间已无香火，还有一脉传承者，称“督氏”，当家立户的名叫督君谟，年仅十八，比王灵智还年轻好几岁。
督氏也早已没落，数十代以来，连谋生都困难，尤其是北朝动荡期间，数十年沦为奴工、乞者，岁勉强活命，但密传射艺始终不辍。王灵智带着钱来的，又确是虔诚学艺，督君谟终于答应：授艺三年，能学多少，教多少，“视其所能，但倾其所能而与之”。
仉督氏所传的射艺，不只是弯弓搭箭，还有以剑敌矢，相互攻防，是箭士与剑客两造都必须熟习的技术。进一步说：射箭的一方，除了发挥“长兵之极者”，力求准确，制敌于百步之外，于一射不中之际，还能再射、三射、四射，所以从取箭到扣弓，势须极为敏捷。而用剑的一方，则不但要能在百步之外以剑摒挡或削移来势极猛的箭矢，还要以灵活跳跃的身形步法、快速欺近所对之敌，迳以锋刃斩杀之；其间若有闪失，也很容易在近地为箭所伤。
这一套攻守之术，本是熔长兵与短兵于一炉而冶之，彼此照应，不可偏废。
王灵智三年学成，他本来想要返回都城大兴，督君谟问他：
“还故乡有何用？”
“陇右风光，豪杰满地，”王灵智道，“想要凭我这一身技艺，建功立业。”
督君谟摇头：“仉督氏之射，仍有未竟。汝宜复东行，至故鲁国之地，求诸仉氏血胤，所学或能略进于某。”
王灵智果然听从了这年轻师傅的话，继续其未竟之旅，来到鲁地徂徕山。可惜的是，他没有寻着仉氏，却将督君谟所传授的射艺分别交给了裴氏、韩氏两个徒弟。两个徒弟天赋异禀，但所学所长却有差别，裴氏精于射，韩氏精于剑。
裴氏日后传裴旻，裴旻年少从征，立战勋，官至左金吾卫大将军。然而此君“喜有功，尚微名，与人相笑谑，荡不知检”，落拓不能大用，沦落于市井之间售艺，能“掷剑入云，高数十丈，若电光下射，漫引手执鞘承之，剑透空而入，毫厘不失；观者千百人，无不惊栗”。居然凭着这一技而令天下闻名，与李白之诗歌、张旭之草书并称三绝。
韩氏，居于徂徕山，传于韩准。李白“学剑来山东”，就是按照侯矩的指示，来找韩准的。