小關一役讓高歡痛失一員猛將，也讓他統一北方的雄心遭到重創。
所謂此消彼長，東魏失利，西魏自然得意，宇文泰就對未來更有信心。
就在這種背景下，獨孤信和楊忠順利抵達長安，宇文泰因獨孤信之前有攻取三荊的功勞，特彆擢升他為驃騎大將軍，加授總監察長，另把後起之秀楊忠留在自己大營。
受小關大勝的鼓勵，又有獨孤將軍回歸衝喜，西魏開始轉守為攻。本年8月14日，宇文泰率李弼等12位將領，進攻東魏，短短半個月的時間，攻克盤豆、恒農兩座城池，俘虜東魏八千人。
形勢對於東魏而言還是比較嚴峻的，高歡很快動員大軍發起反攻，就在行動之前，高歡與助理官杜弼之間有一場經典的對話。
杜弼就請高歡嚴懲貪官汙吏，高歡說“杜弼啊，來，到我跟前來，讓我告訴你，天下官員貪贓枉法，由來已久，不是從現在開始的，而今將士們的親屬都在關西，宇文泰千方百計引誘他們背離，人心不安，是留下來或是西歸故鄉，並沒有不變的決定，江東又有蕭衍老漢，專門研究太平盛世的衣帽服裝和禮樂製度，中原士大夫都認為他才是中國正統，我如果加強肅清政風，建立法律尊嚴，恐怕武人都投奔宇文泰，文人都投奔蕭衍，人才一空，怎麼能維持帝國不垮，你要稍稍等待，我不會忘記。”
西征即將成行，杜弼再次堅持先誅殺內問奸賊，高歡問“誰是奸賊？”
杜弼說“那些掠奪人民的達官貴人。”
高歡這次沒有作答，而是下令士卒有的箭上弓弦，有的高舉鋼刀，有的手握長矛，夾道排列，然後讓杜弼從中間經過。
杜弼一介文人，哪見過這種陣仗，從中間走過之後，衣服都濕透了，高歡這才心平氣和地說“箭雖上弦，卻沒發射，刀雖高舉，卻沒落下，矛雖握住，卻沒刺出，即便這樣，你已心膽俱裂，而你口中的那些達官貴人，他們的爵位都是怎麼來的，是用肉身去冒犯這些利箭鋼刀，經過百死一生的考驗換來的，雖然偶爾有貪贓枉法，但他們在另一方麵卻有更大的貢獻，怎麼可以與普通人相提並論。”
這種觀點當然是不合理的，簡直就是鼓勵犯罪的範文，但在一定程度上，卻也能拉攏那些“達官貴人”的心，尤其在混亂的時代背景下，或許反而是正確的選擇。
高歡很擅長做這種攻心的小把戲，每次發號施令，總是派丞相府助理秘書張華原進行傳達，而且對鮮卑人和漢人分彆進行溝通——
對鮮卑人這樣說“漢人是你的家奴，男人為你耕田，女人為你織布，呈獻糧食綢緞，使你吃飽穿暖，為什麼還要欺壓他們？”
對漢人這樣說“鮮卑人是你家的雇工，拿你一鬥糧食，一匹綢緞，為你格殺盜匪，使你過太平日子，為什麼還要痛恨他們？”
類似這種協調工作，效果當然並不顯著，但也看得出高歡的良苦用心，因為他的部眾在一開始就魚龍混雜，想要把這些人正規化，凝聚起來，也是真心不易。
在複雜的民族成份中，最具代表性的當然還是鮮卑人和漢人。
隨著晉室南渡之後，北方便淪為胡人的天下，漢人的地位一落千丈，所以當時鮮卑人都瞧不起漢人，高歡平時向大軍傳達口令，也都是用鮮卑話。
整個東魏除了高歡，最有麵子的漢人當屬高敖曹。
鮮卑人雖然一向瞧不起漢人，但卻對高敖曹十分敬服，有高敖曹在場的時候，高歡傳達軍令也會改用漢語。
或許正是高歡的喜愛，讓東魏將士對高敖曹不敢不服吧。
當然高敖曹本身是一員虎將，是真的很虎，俗話說愣的怕橫的，橫的怕不要命的，高敖曹當是不要命的主兒，無所顧忌，但憑心裡痛快。
高敖曹有次前往丞相府晉見高歡，守衛拒絕他進入，他直接射死守衛，大搖大擺地找高歡談笑風生。
從上洛回來後，高歡再讓他當參謀長、總司令官，統禦76個司令官，又任命最高監察長侯景當中央駐西方特遣政府總監，與高敖曹，以及另一總監任祥、總監察官劉貴、豫州督導官堯雄、冀州督導官萬俟洛，集中虎牢關，整頓軍隊。
有一次，高敖曹與北豫州督導官鄭嚴祖，進行握槊賭博，碰巧劉貴召見鄭嚴祖，高敖曹賭興正濃，不肯放鄭嚴祖走，信差不斷催促，高敖曹用枷把他鎖住，信差憤怒地說“上枷容易脫枷難！”
高敖曹立即抽出佩刀，就在枷鎖上把信差的人頭砍了下來，風輕雲淡地說“有什麼難。”
劉貴不敢與其正麵衝突，隻好忍氣吞聲，但次日開會的時候，還是難掩內心的惱恨，不經意間嘲諷了高敖曹一句，高敖曹當場拔刀，幾乎吹中劉貴，劉貴倉惶逃回營帳，高敖曹立即下令擂動戰鼓，集合軍隊，準備攻擊劉貴，侯景和萬俟洛再三勸解，才算平息此事。
本章完