就在天子收複長安的同時，杜伏威也全麵奪取下邳郡，他親自率領三萬大軍奪取了下邳郡治宿豫縣，又分彆派軍隊進駐下邳縣、郯縣、良城縣、徐城縣和夏丘縣等地。
杜伏威隨即將元帥府遷到了宿豫縣，並下令免除下邳郡百姓稅賦，贏得全郡百姓的歡迎。
杜伏威的軍師叫做徐良，出身東海徐家，是一名屢試不中的落第士子，在他的建議下，杜伏威也學會了蕭夏的手段，削減稅賦收取民心，同時控製鹽源，用鹽利來養軍。
徐良反對杜伏威把元帥府遷到下邳郡，這裡距離江都郡太近了，隻隔一條淮河，一旦江南道總管府北遷，江南隋軍必然會首當其衝打擊杜伏威。
但這次徐良勸說沒有用，杜伏威還是堅持將元帥府遷到下邳郡。
下午，徐良匆匆走進杜伏威的官房，“大帥找我？”
杜伏威指指桌上一封信道：“這是李子通寫來的，他想與我合並，我不懂他是何意？”
徐良看了看信，也著實有些不解道：“李子通在汝陰郡好好的，他怎麼會想到合並，難道是他得到了什麼消息？”
“我不管他得到了什麼消息，我就想問問軍師，我們能否合並？”
徐良感覺杜伏威有點動心了，便緩緩道：“元帥，合並也有講究的，誰為主，誰為次，兵力、糧草之類怎麼歸屬，這裡麵有很多涉及利益的事情要談清楚。”
杜伏威點點頭，“所以我想讓軍師跑一趟汝陰縣，和對方談一談，我覺得如果能合並，當然是好事！”
“元帥，李子通為人奸詐.”
“軍師去談一談吧！”
徐良見杜伏威心意已定，隻得點點頭，“好吧！卑職今天就出發。”
幾天後，徐良來到了汝陰縣，見到了汝陰郡王李子通，但出乎徐良意料的是，居然有一名西隋官員和李子通一起接見了他。
李子通眯眼笑道：“我給徐軍師介紹一下，這位是西隋的禮部尚書！”
西隋官員微微笑道：“在下楊積善！”
楊積善在兄長楊玄感死後也投降了西隋，出任漢川郡刺史，這次西隋皇族南逃，他因為接待有功，被升為西隋禮部尚書，西隋天子楊勇便派他來整合中原各個割據勢力，要求他們繼續效忠西隋。
在中原各個割據勢力中，最效忠西隋的勢力便是李子通，原因也很簡單，李子通手下的兩員悍將伍氏兄弟便曾經是天子楊勇的心腹。
楊勇本想把伍氏兄弟召回去，但沒想到李子通竟然對西隋十分忠心，楊勇倒不好開這個口了，隻得讓他們二人和李子通一起把勢力擴大。
吞並杜伏威一直就是李子通的執念，楊積善卻給他出了一個主意，先合並再吞並，由楊積善代表西隋促使兩家合並。
徐良坐下，聽取楊積善介紹合並事項，他們將整編為江淮軍，李子通出任左都督，杜伏威出任右都督，基本上還是各自統領自己的軍隊，利益和地盤也是各自所有，但他們要統一聽從西隋朝廷的調度，要聯手對抗江南隋軍或者朝廷軍隊圍剿。
楊積善對二人道：“李子通將軍控製了汝陰郡和譙郡，杜伏威將軍控製了東海郡、下邳郡和琅琊郡，各自擁有軍隊七八萬人，如果合並成江淮軍，你們兵力就超過十五萬人，完全可以和任何一個勢力對抗，下一步，你們兩軍將聯手奪取彭城郡，以彭城縣為江淮軍治所。”
徐良眉頭一皺道：“彭城縣北部是江南道的煤田，恐怕晉王會出兵。”
李子通擺擺手，“我們可以向晉王保證，不會觸犯他的利益。”
楊積善也道：“如果晉王要收拾你們，他早就出兵了，他之所以沒有出兵，是因為東隋朝廷對他很忌憚，不會允許他進兵中原，不過倒是東隋朝廷可能會出兵，所以需要你們兩家聯手對抗東隋朝廷。”