送走了启民可汗和义成公主，隋炀帝没有回长安，而是走太原，绕道东都，到了洛阳的时候，已经是九月。一到洛阳，就宣布齐王杨暕改任河南尹、开府仪同三司，原来太子杨昭的二万多人也划归杨暕，独狐篡交了兵权，还是回长安负责军工，李浑以右骁卫将军领太子宗卫率。
杨崇也被兵部派回长安，兵部尚书段文振和兵部侍郎明雅随杨广在外，长安和洛阳的兵部如同摆设。兵部共设有十位主事，其中兵部主事四人，职方主事二人，驾部主事二人，库部主事二人；在洛阳由库部侍郎裴弘策负责，兵部、职方、驾部、库部还各留主事一人，而长安只有兵部主事元无竭一人，负责整个兵部的运作。
杨崇以兵部主事的身份回去，排在元无竭之后，只是为了堵住某些人的嘴，表示兵部还是重视长安的；实际上，兵部尚书段文振说得很清楚，杨崇回长安只要做两件事，一是尽可能整理西域的情报，二是再琢磨些装备。杨崇意外地是，自己离开洛阳的时候，在城门口除了宇文恺和工部尚书卫玄，柱国大将军麦铁杖竟然也跑来给自己送行。
麦铁杖是始兴人，勇猛而有膂力，少年时能日行五百里，据说跑起来可以赶上奔马，为人粗犷放荡且好酒，喜欢结交朋友；做贼被南陈广州刺史欧阳頠俘获后，麦铁杖沦为朝廷的奴仆，专给陈后主撑伞。隋灭陈后，麦铁杖转入大将军杨素军中，屡立战功，开皇十六年征召为车骑将军；隋炀帝即位，麦铁杖征讨汉王杨谅有功，任柱国大将军。
杨崇和麦铁杖在榆林城就是旧识，但是并不是很熟，麦铁杖扇动着巨掌，拍在杨崇肩上说：“好小子，在榆林做得不错，回到长安小心一点，你现在可是别人的眼中钉。”
杨崇忍着疼痛，咧咧嘴说道：“麦将军，轻一点。多谢你的好意，只是圣意难违。”
卫玄听出杨崇的那一丝无奈。榆林城发生的事情所有人都清楚，杨崇的做法平息了一场政治风波，隋炀帝杨广高兴之余，也没有追究对手；但是苏威等人依旧认为，如果没有杨崇的节外生枝，他们会让宇文化及兄弟丢掉脑袋，甚至能让宇文述丢官罢职，逼迫隋炀帝杨广在政治角逐中作出让步。
这种差异同样在定向贸易这件事上，与咄吉世的贸易对中枢有利，但实际上是抢走了士族和咄吉世之间的走私生意，也正是因为这个原因，在中枢内外的压力下，隋炀帝杨广和兵部尚书段文振只好同意调杨崇回长安，让裴矩负责对塞北的运筹。军方对此的态度是截然相反，如果杨崇操作，十六卫的将领们多多少少都分点利，在裴矩的手上，连段文振和明雅都是忧心忡忡，麦铁杖来送杨崇，就是军方发出的一个不满信号。
麦铁杖分明听懂了杨崇的潜台词，哈哈大笑；宇文恺在大众之下，反倒没有多说话，只是礼节性地拱拱手，杨崇在洛阳住在宇文恺家，师兄弟要说的话要做的安排早就商议好。杨崇和众人行完礼，翻身上马，随换防的禁卫军奔腾西去，这几个月在兵部，杨崇唯一进步迅速的就是骑马技术，基本上能跟上大队的行动。
到达长安，杨崇到留守的尚书台报了个备，请了五天假，连兵部都没去，就很干脆地回家了；杨崇的打算很简单，先歇个几天再说。杨崇到家才知道杨六和杨九在崔家作坊帮忙，到现在也没回来；杨三、杨四、杨七、杨十在铁匠铺干得不错，韦隆已经开始教他们武功；杨一、杨二、杨五、杨八被安排到宇文作坊学木匠和杂艺，韦横在那里盯着。
韦雷每过十天半个月，都会去各处看看，包括农庄李春那儿，情况都不错。不过韦雷汇报完，没有一点要走的意思，带着点讪笑站在那里，杨崇很奇怪，问道：“还有什么事？”
韦雷吱吱唔唔半天才说，上次去宇文作坊，宇文虎问了一件事，韦雷三人是不是原来就姓韦？韦雷一开始没弄懂，过了几天才反应过来。宇文虎的意思很明了，韦雷他们要是原来就是姓韦，倒也没什么，如果是韦家赐姓，那么都到杨家几个月了，韦雷三人应该到考虑改姓的时候。不过这种事，韦雷还真做不了主，所以就看杨崇的态度。
杨崇到隋朝已经有一年多的时间，知道这赐姓是一种认同的象征，只是杨崇并不认同奴籍，所以心中一直有个想法，希望韦雷等人脱离奴籍；杨崇于是问道：“你们三人的意思，是改回原姓，还是要姓杨？另外，你们考虑过换籍没有？”
韦雷急忙跪下答道：“我们是自愿入奴籍的，绝没有换籍的想法，我们加入韦家的时候，已经抛弃了原来的姓氏，也不准备改回去，家主如果同意，我们希望姓杨。”
杨崇点头道：“我没问题，只是你和韦横家中的其他人怎么办？”
韦隆夫妻俩带两个小孩，改姓杨没问题；韦雷家除了三个小孩，还有老父亲和一个弟弟、一个妹妹；韦横一家三口外，带着两个十来岁的妹妹。韦雷很欣慰，杨崇没有大家族的那种嚣张，很考虑实情，拱手答道：“韦横希望两个妹妹姓杨，我和家父商量过了，他老人家同意改姓。”
杨崇对这些事可有可无，特地召集了所有人仔细问了一遍，确定没问题，才让韦雷准备契约，到官府做了备注。杨崇又和杨雷、杨横、杨隆商量，家中的小孩都要识字，学费杨崇包了；不过在女子读书的问题上，双方争执得很厉害，最终杨崇拿出家主的身份，杨雷三人才偃旗息鼓。
不过杨崇还是遇到了问题，长安的私塾不收女生，大户人家的小姐都是请先生到家里去教，杨崇没有被这点小事难倒。杨雷的弟弟杨霆身体瘦弱，读过私塾，现在被杨雷安排在府中机会记账、打杂，杨崇便把女孩子认字的事交给杨霆，规定杨家每个女孩子必须认六百个字，每教完一个女生，按私塾的学费标准，付给杨霆二两银子的报酬。
大隋很少有人家给奴婢付报酬的，杨雷和杨霆大为意外，正待推辞，杨崇正色道：“杨雷，看你这样子就不是个好管事，你以为我就现在这点家业？我是在给你们立规矩，要逐渐地让每一个干活的人都有工钱，免得以后家大业大的时候乱来。”
杨崇一槌定音，杨雷兄弟不敢、也不愿反对。