因為袁術早就聽說過呂布之前的所作所為，因此，就對呂布印象一般，故而就沒有接受呂布。
這是呂布第一次嘗到因為名聲臭被人拒之門外的滋味，當然，這也不是最後一次。
被袁術拒絕後，呂布很無奈，隻得調轉馬頭，尋思到袁紹那裡碰碰運氣。
結果，袁紹倒是笑臉相迎，十分痛快地接納了他。
不過，袁紹看中的是呂布的武力，他借助呂布勇猛，成功平定了黑山軍。
但在之後，袁紹卻翻臉了。
翻臉的原因是呂布一直要求增加軍隊。
袁紹擔心呂布勢大。
因此沒有答應，結果呂布居然帶著兵開始四處搶掠。
這下，袁紹就覺得，呂布始終是個禍患，就有心除掉他。
而呂布也察覺到了袁紹態度的變化，於是就請求回洛陽。
就在呂布準備離開的當晚，袁紹派人行刺呂布。
不曾想，呂布早有防備，用一床被子躲過了被亂刀分屍的下場。
等到袁紹發現中計時，呂布已經逃到了河內。
到了河內，呂布遇到了一個主動接納他的人。
那就是陳留太守張邈。
張邈盛情款待了呂布，之後還在陳宮的建議下，邀請呂布擔任兗州牧。
由於兗州是曹操的地盤，對此曹操自然不會答應。
因此就回兵攻打呂布。
一番苦戰，新任兗州牧呂布大敗，不得不再次踏上了逃亡之路。
離開兗州後，呂布又一次不知道該去哪裡。
而這一次，他選擇了在徐州的劉備。
剛開始，呂布擺出來一副相當客氣的姿態，對劉備恭敬有加。
但沒過多久，他就原形畢露。
在袁術的挑唆下，趁著劉備和袁術戰局膠著之際，居然偷襲了劉備後方，還俘虜了劉備的妻妾。
致使劉備不得不逃往海西，最終迫於無奈，向呂布請降。
而呂布呢，惱火袁術沒有按承諾送糧。
因此也就沒有過多為難劉備，最終將劉備迎回，派他駐守小沛，自己則自稱徐州牧。
這麼一來，呂布從徐州的客人，翻身變成了徐州的主人。
著名的“轅門射戟”典故，就發生在此之後。
但在徐州待了一陣子之後，呂布又開始折騰了。
當時袁術來信，提出要和呂布聯盟。
為了以表誠意，還向呂布提親，表示願意讓自己的兒子娶呂布的女兒。
最開始，呂布滿口答應，但被沛相陳珪一番遊說後，當即反悔。
不僅取消了婚事，還殺了袁術派來的使者。
這個讓袁術大為惱火，於是便發兵攻打呂布。
但不曾想，卻被呂布擊敗，铩羽而歸。
與此同時，呂布又開始看劉備不順眼了。
因此就親自帶兵攻打劉備。
劉備雖說有一部分兵馬，但哪裡是呂布的對手，最終大敗後投奔了曹操。
此時，呂布反複無常的性格，已經在諸侯中傳了個遍，而他卻絲毫不知道收斂。