建安十一年正月，曹操親自帶兵攻打壺關。
高乾一聽說曹操親自來了，頓時嚇得心驚膽戰、魂飛魄散。
他知道自己根本不是曹操的對手，便來了個金蟬脫殼，命令夏昭、鄧升等部將守城，自己則帶著一隊手下親信悄悄地從壺關逃往了南匈奴。
南匈奴此時的單於是欒提呼廚泉，他是於夫羅的弟弟，於夫羅死後，他便繼承了哥哥的單於之位。
早年時於夫羅與袁紹結盟，共同對抗曹操。
後來呼廚泉又和高乾共同攻打河東，所以袁家和南匈奴的關係始終不錯。
呼廚泉這個人很有意思，他先是跟曹操作對，被曹操打敗了之後，就歸降了曹操。
隨後呼廚泉又與高乾在平陽發動叛亂，又被曹操打敗，又歸順了曹操。
現在高乾發動叛亂，逃往了南匈奴，呼廚泉又接納了高乾。
曹操一看呼廚泉如此反複無常，便將南匈奴分為五部，每部擇立貴族為帥，另選漢人為司馬對其進行監督，同時還把並州的匈奴人編入漢族。
這樣一來，南匈奴總算是平定了下來。
高乾跑到南匈奴找呼廚泉，是想跟他再度聯手對付曹操。
但呼廚泉經曆了平陽之戰後，早就被曹操打怕了，說什麼也不敢再無事生非，便婉言謝絕了高乾的要求。
勸說不成，高乾隻好垂頭喪氣地帶著手下人馬返回晉陽，卻發現那裡早已物是人非，全部換成了曹操的親信。
突然之間，高乾一下子就變成了喪家之犬，無處可去、無家可歸，叫天不應、叫地不靈。
高乾帶著手下的兄弟在野外漫無目的的閒逛，無意之中聽說司隸的河東郡周邊發生了叛亂，張白騎正攻打河東東垣，上黨郡各縣長吏也都被殺，弘農郡太守也被人囚禁，等等。
高乾一琢磨，這倒是個機會。
反正自己如今也走投無路了，不如加入盜匪，上山落草為寇吧，好歹也有個安身立命之處，總比這麼四處流竄強。
於是高乾便帶著手下一幫兄弟朝著河東郡趕去。
在到達濩澤的時候，高乾終於找到了張白騎。
原來這個張白騎隻是綽號，他的真名叫張晟。
張晟手下有萬餘人馬，再加上弘農郡的張琰、河東郡的衛固、範先，一共集結了數萬人馬。
高乾了解了情況之後，不禁喜出望外，也跟大家透露了自己的身份，號稱自己是並州刺史，隻字不提被曹操追殺的事。
瘦死的駱駝比馬大，眾人一聽原來是大名鼎鼎的高乾，立刻對他另眼相看，有一種一見如故、相見恨晚的感覺。
這日傍晚時分，幾個頭領便歡聚一堂，開懷暢飲起來。
高乾率先端起酒碗道“結識幾個兄弟，是我高某的榮幸，這碗酒我先乾為敬！”