然而，卢琰对宋太祖的恩宠看得很淡，而内心对后周皇帝忠心不二，抱着“柴周大臣义不臣宋”大志不动摇。因此，对宋太祖的恩宠，处处倍加小心，并为抚养蕲王殚精竭虑。当宋太祖在处理了恭帝和纪王后，又追究蕲王下落时，卢琰觉得麻烦将要临头了，于是，他与柴世宗的驸马孙帷温（浙江永康人）密谋，将柴熙诲收为义子，改名为卢璇，同时向宋太祖提出了归农致仕的要求。决定退出朝廷远遁山林。开宝元年（公元968年），宋太祖同意了卢琰的要求。临别时，宋太祖亲作《御赐功臣卢琰致仕赠别诗并序》：“朕以卿尚书卢琰老成历练，欲藉以弼成至治。卿乃起空谷白驹之想，为林泉自适之谋，难为强留之计，然君臣之份恶可恝然，故赐汝以诗，以光来裔。袖手长才世路轻，爱闲那肯鬻荣名。桂冠使欲辞丹阙，策杖还归老故城；适意不论三仕喜，传家惟有十分情。林间佳趣真恬退，好向廉泉自濯缨。”于是，卢琰如同出笼之乌，与孙帷温一起率全家老少，挟蕲王柴熙诲连夜出京城，过临安，不久来到了灵山（今翠峰山）之麓（今新渥镇大山下一带）长期隐居。据传，当时正是冰天雪地的日子，宋太祖追查蕲王的下落，于是怀疑到与卢琰归农有关，马上派追兵追查。卢琰等从东阳方向进入灵山一带，为了躲开追兵，把靴子倒回来穿上，故意在雪地上留下向山外行走的脚印，当追兵赶到时，见这里杏无人烟，只有茫茫雪野和一谷觅食的麻雀的叫声，而行人的脚印也是向外走的，便离开了。

就这样，一行人躲进了这里，避过了追兵。卢琰见峰峦叠翠，环境幽雅，正合自己躬耕垄亩的性情，便在此定居下来，并把这个地方称为“朵山”，意即“躲”山，解放后，谐音改为“大（浙江方音：do）山下”。据《大山卢氏宗谱》谱序载：“……越国公始居汴，为后周工部尚书，有政绩禅，宋后迁居婺之灵山，灵山者卢氏发祥之地也。自越国公而上皆缺而不书，古籍无所稽，略其所当略也；自越国公而下，支派世系近而可考，详其所当详也……”记述了越国公迁居灵山的史实及其重要的历史文化地位。从此，卢琰“义不臣宋”的侠肝义胆成为后人传扬的美德。据记载，卢琰隐居灵山五年后，为使宋太祖彻底放弃对自己的牵制，巧妙地让儿子们和地方官上表，奏明“卢琰已死”。宋太祖接报派使臣中书省侍郎李克明来灵山吊唁，祭文曰：“窃维卢琰历事吾朝累建劳绩于时有年，嗣朕在位，实公匡辅，忠义可嘉，方期上柱国家岂意溘然先朝露讣闻不胜哀悼，今特遣官谕祭，以示异恩……”，对卢琰作了很高评价。此后，卢谈便安心地开始了开发灵山这片沃土的家园。据《大山卢氏家乘旧序》载：“……其乡多朴茂之风，公建塾于斯，设教廷师课诸孙子，乡之后秀者从之益众，而又以德化人，一时风俗美而人才出……”。

随着时间的推移，卢琰也慢慢地改变了对宋室一统天下的看法，使他从“不食宋粟”的思想转变为拥护大宋统一天下的爱国情怀，并用自己的实际行动，为国家培养人才进行了努力，不仅使其“九子具将相之才以备朝廷之用”，而且建塾廷师，谋及乡民子弟，以德化人，使乡内风俗大变。他在《七叠飞泉》一诗中写道：“连云飞瀑挂前空，水脉潜穿七窍通。指日朝宗归大海，早将兵甲洗辽东。”充分表露了他对统一国家使人民安居乐业的向往，以及对宋兵收复辽东统一大业指日可待的爱国主义精神。在《灵谷锄云》诗中，他又写道：“荷锄木柄不须长，觅种灵山别有方。种得云中双白璧，琢成瑚琏献君王。”进一步表达了他隐居灵山为国家培养有用之才的信心和决心。到了宋开宝丙子年（976年），宋太祖驾崩，此时的卢琰早已转变了对他的看法，认为他是一位具有雄才大略的明君，并赋《横山晚笛》一首：“牧童牛背日将曛，短笛摧残几片云。莫道山中无宁戚，重歌白石忆明君。”横山斜亘，晚笛催人，一名大臣对明君的缕缕思念之情不禁溢于言表。八年后，即宋雍熙乙酉年（公元985年），卢琰病逝，葬于灵山南麓。据传，越国公卢琰墓规模宏大，经千余年而不损。“九支卢”即卢琰的九个子女蕃衍出的九个支派，《大山卢氏宗谱》载：“……（卢公）娶行军都大元帅赵光之女，封越国夫人，生八男一女，讳锦，招柴世宗之子讳炯。

后改名曰璇，隐柴为卢，列作九支，号曰榛、栗、择、松、竹、梅、桐、梓、杞……”卢琰为了“存柴室一线之绪”，不仅挟孤以逃，而且将自己的女儿卢锦许配给蕲王柴熙诲（即卢璇），正式排为第三子，与其他八子并立，然后，分支蕃衍。为了永远记住自己的祖地，卢公载下了一棵榧树，九子又分别在大山下村口种植了一棵枫树。自此，一棵榧树和九棵枫树历经千余年的风霜雪雨，郁郁滴翠。可惜到了“文革”期间，卢公所遗之物概莫能外，一律被砸毁、损坏，就连这幸存的几棵古枫树也被当作补贴集体开支砍伐掉了。