杜林見隗囂如此反複無常，每每有良言入耳，便能好上幾日，可隨後就又生自立之心，知道他終有一日會據漢自立，於是產生了離開的心。
杜林多次向隗囂辭行，都被隗囂拒絕，並將他軟禁了起來。
眾人聽說隗囂把大賢杜林囚禁了後，一時間議論紛紛。
隗囂對眾人說：“杜林這個人孤傲的很，天子也不能駕馭他，諸侯也不能做他的朋友，他大概就是伯夷、叔齊這樣的人，寧願餓死也不吃周朝的一粒糧食。我對他亦師亦友，可他偏偏要離去，我也並非囚禁他，我隻不過是愛惜他的才華，不忍他棄我而去，我每日好酒好肉的招待他，不曾有過半點怠慢。”
眾人聽隗囂如此說，也就不再所有議論。
可過了沒幾天，杜林的弟弟杜成暴病身亡，杜林再次向隗囂請辭，說要把弟弟帶回祖籍茂陵安葬今陝西省鹹陽市境內）。
生老病死，人生頭等大事，這下隗囂再也沒有理由強留杜林，隻得放他離去。
杜林走後，隗囂頹坐在院中的牆邊，心中生起悲涼之意。
原先他門下可謂賢者畢至，可自從他升起自立的念頭後，這些大才卻是一個個離他遠去。先是馬援，再是班彪，又是鄭興，如今就連杜林也走了，今後還不知道要走幾人。
隗囂越想越氣，決心殺掉杜林。
可他畢竟是以君子的形象示人，這種事必然不能明火執仗，於是便暗中請刺客楊賢追殺杜林。
楊賢追上杜林時，杜林正獨自一人推著靈柩趕路，他早就聽說過杜林的賢名，幾次想將劍拔出，拔了一半，卻又插了回去。
楊賢心說：“父母給我起名叫賢，是為了讓我做個賢者。可如今亂世，我不得已做這種為財殺人的勾當，可君子愛財，取之有道。若是殺個尋常之人，那殺了便殺了，可這杜林是出了名的賢德之人，我又怎忍殺之。”
於是楊賢走到杜林身後，就這樣不遠不近的跟著。
杜林發覺到身後一直跟著一個人，也不超過自己，也不遠離，心中生疑，於是問道：“先生可是來刺殺於我？”
雖然放棄了行刺的念頭，可作為刺客，楊賢亦有刺客的操守，寧死也不能出賣雇主，於是楊賢也不說話，杜林停他便停，杜林走他便走。
杜林一連問了幾次，楊賢都默不作聲，杜林心想，自己一介書生，若是他想殺我，那我也沒有反抗的機會，不如就隨他去吧，是死是活，全憑天意。
五日後，杜林出了隴西今甘肅省東南部地區），楊賢也始終未能下殺手，若是沒有機會行刺還則罷了，可有機會卻不動手，況且自己也收了錢，那自然是違背了道義，於是拔出佩劍自刎。
此時的杜林終於想明白了，這楊賢必是隗囂請來行刺他的，而楊賢始終沒有動手，直至自己出了隴西方才自殺，由此可看出，這楊賢也是一位義士。
由於不知道楊賢是何人，身上也沒找到證明身份的物件，杜林也隻好把楊賢的屍首抬上了推車，一起推回老家安葬。
隗囂一連等了數日，也沒有見到楊賢返回，心想這楊賢為遊俠，殺一個手無縛雞之力的杜林自然是萬無一失，可這麼久都沒回來，一打聽方知，杜林已經回到了茂陵，而楊賢不知所蹤。
隗囂知道，一定是楊賢不忍殺杜林，才放跑了他。
想到此處，隗囂心中又開始了焦慮，是不是真的是自己操之過急？是不是真的不是稱王的時機？亦或者說自己根本就沒有稱王的命？
其實說到底，此事不過是他和劉秀兩個人之間的事，於是隗囂決定再派使臣至洛陽今河南省洛陽市境內），一是看看劉秀對自己的態度。二是看看朝中文武如今是如何看待自己。三也是打探打探劉秀的虛實，征戰這麼多年，劉秀的百萬大軍是否還在？是否還能打？國力是否因為連年大戰而衰弱？
可使者周遊率隊剛出隴西，到達關中今陝西省中部地區），就遭到了仇家的埋伏，整個使團被殺的一人不剩。
隗囂以為是馮異殺了使團，於是整軍備戰，封鎖了東南西三個方向所有的關隘，從而導致了前文中提到的竇融的回信沒能及時送至劉秀手中。
不但隗囂以為是馮異殺了使團，就連朝中許多大臣們也以為是馮異殺了使團。馮異自從建武二年率軍西征，至今已有四五年了，老兄弟們倒是沒有懷疑過馮異的忠誠，可是四五年過去了，朝臣也比當時多了許多，之中有一大半並沒有見過馮異，於是紛紛彈劾馮異。
“馮異擁兵自重，欲在關中自立。”
“關中百姓隻知馮異，不知陛下。”
“關中百姓都叫馮異鹹陽王。”
“馮異欲自立，恐隗囂歸順後被東西夾擊，所以殺了隗囂使團。”
“馮異要稱王，所以先把水攪渾了，給陛下多樹敵。”
“馮異要自立，請陛下早做防備。”
一時間，無論是朝堂之上，亦或是市井之間，都流傳著馮異要叛亂的聲音。
劉秀對這些彈劾馮異的奏折不置可否。
按照慣例，皇帝對於大臣的奏折都要批示，抄錄後再反給朝臣，如果皇帝同意，一般都會寫個準字。如果皇帝不同意，一般都會寫個不準。如果皇帝一時間拿不定主意，或者這事需要暫緩，一般則會批注知道了，方便朝臣日後再次奏報。
可那些朝臣遲遲等不到自己的奏折返回，心中不免疑惑。
這些奏折去哪了？全被劉秀密封好送進了馮異的大營。
這並不是劉秀和馮異穿一條褲子，出賣那些朝臣，而是劉秀的帝王心術。
對於馮異這種能打仗，能打勝仗，手握重兵，又遠在千裡之外的統帥，自當是要時不時的敲打一番。
馮異看到劉秀送來的數封奏折，心中惶恐萬分，茶不思飯不想，如坐針氈。在床上輾轉反側多時難以入睡，於是半夜爬起來，給劉秀寫了一封回奏。