而豐隆之離去之後，孫騰也並未追求到元明月，反而被皇帝領入宮中。皇宮內外關於元修與元明月等人的不倫之戀這才傳入他的耳朵。
同時關中自賀拔嶽死後，他亦感到自己的危險處境，而如今豐隆之走了，自己於朝堂上更是孤立無援。
如今斛斯椿更將矛頭轉向了他，不斷彈劾，而元修更是揚言要治他罪名。
雖然還有婁昭統領禁軍，但皇帝擴編的禁軍以及斛斯椿的兵馬人數，此時已遠勝於婁昭所能管轄的兵馬。
他也就不得不與婁昭秘密北逃晉陽。
如今洛陽幾乎由元修由掌控，而西北宇文泰也曾經派出過於謹請他西遷長安。
元修自覺自己的部屬親信與禁軍數量近十萬，便是與高歡抗衡的底牌。
西北宇文泰又邀請西遷，南有賀拔勝等退路。
隨即決心與高歡徹底決裂，他先撤了高歡心腹建州刺史韓賢的官職，又命賈顯智為濟州刺史想趕走蔡俊，然而高歡卻命蔡俊拒不離任。
元修很是惱怒，便讓賈顯智率軍征討，可賈顯智卻停留在東郡不敢上前。
元修見此狀況，便以南討南梁為由讓斛斯椿征河南諸州兵力，實際欲北圖高歡。之後便在洛陽近郊集結眾兵將，身著戎裝的他與斛斯椿在台上檢閱大軍，一時意氣勃發。
但為了不惹高歡懷疑，又特給高歡送去一封密詔曰：“宇文黑獺、賀拔勝頗有異誌，故朕假稱南伐，潛為之備；王亦宜共為形援。讀訖燔之。”
收到密詔高歡，卻笑得合不攏嘴巴。
心想如今正無出兵之由，沒想到這皇帝還給自己想到了借口
果真還是太年輕，隨即上表道：
“荊、雍將有逆謀，臣今潛勒兵馬三萬，自河東渡，又遣恒州刺史庫狄乾等將兵四萬自來違津渡，領軍將軍婁昭等將兵五萬以討荊州，冀州刺史尉景等將山東兵七萬、突騎五萬以討江左，皆勒所部，伏聽處分。”
元修見表後，才覺慌張，隨即召群臣商議說道：
“如今高歡集結兵力，欲來洛陽，誰能阻止？”
文武百官一時麵麵相覷，本知高歡出兵借口就是皇帝所引，一時隻能建議及時派出使者前去言阻。
晉陽的高歡見了來史，以及不準出兵的詔書後，便集並州僚佐共議，高澄也於其中聽議。
豐隆之返歸故裡後，高歡知道他是為人陷害，已把他召到晉陽，此時他便上前說道：
“皇帝擴充禁軍於斛斯椿統領，而西與宇文泰來往甚密，又欲儀仗賀拔勝。
如今征兵討梁，實為北上欲伐高王您！無論皇帝何由，此次都應當率兵南下洛陽。
他如今雖有禁軍，但於高王而言不過以卵擊石，宇文泰與賀拔勝等人也不一定真心歸附，都有各自圖謀。
即便皇帝西去關中，或是南下，當今天子野心勃勃，讓去關中內鬥便是，高王再換一個皇帝即可；
二來可以鏟除對斛斯椿、賀拔勝等往複之人。
高王可以先試探讓其殺斛斯椿等人，若陛下不允，便以清君側為由南下洛陽。”
高歡便又說道：
“就依此言，然西宇文泰與皇帝互有往來