陳帆盯著屏幕上那條突兀的CPU峰值曲線，手指在鍵盤上停頓片刻。故障日誌已經記錄完畢，問題出在任務調度邏輯的一個邊界判斷上——當某隻股票數據缺失時，程序會反複重試，最終陷入循環。他合上故障報告窗口，重新打開爬蟲模塊的源碼。
顯示器左側是舊版單線程采集腳本，右側空白文檔正等待寫下新的架構。他的目光掃過服務器監控麵板：兩台機器的CPU空閒率依然穩定在百分之十五以上，內存使用不到一半。算力有了，現在缺的是把它們真正用起來的方式。
他新建項目，命名為“MultiSourceCrawler”。第一步不是寫抓取邏輯，而是搭建線程管理器。係統必須能同時處理多個網頁請求，又不能讓網絡和數據庫被瞬間衝垮。他設置了一個最多八線程的池子，每個線程獨立負責一個財經網站的輪詢任務，主線程則統一控製啟動、暫停與異常恢複。
第一個接入的是“新浪財經”。頁麵結構他已經熟記於心，股票列表頁每三十秒刷新一次，行情數據嵌在表格中，需要用正則匹配提取代碼、名稱、最新價和成交量。他將這部分封裝成獨立函數，測試運行三次，均成功捕獲目標字段。
接著是“搜狐財經”。這個站點的HTML更雜亂，廣告腳本多，關鍵數據被包裹在多層div裡。他花四十分鐘梳理出穩定的路徑規則，並加入容錯機製——如果某次解析失敗，線程不會立即退出，而是記錄網址並延後重試。
第三個目標是“網易財經”。它的反爬策略稍嚴，連續訪問五次後會出現驗證碼提示。他在每個請求之間加入隨機間隔，從五百毫秒到兩秒不等，模擬人工瀏覽節奏。同時，所有線程共享一組用戶代理標識，避免同一IP頻繁暴露。
淩晨兩點十七分，三套采集模塊全部就位。他啟動主控程序，八個線程依次激活。狀態欄顯示：“【運行中】新浪財經線程1｜搜狐財經線程3｜網易財經線程2……”
第一波數據開始流入。緩衝表裡迅速堆積起數百條記錄。他打開數據庫性能監視器，觀察寫入速度。起初一切正常，但二十分鐘後，磁盤I/O曲線突然拉高，延遲從原來的三百毫秒逐步攀升至四秒以上。
“不對。”他低聲說。
切換到數據庫後台，發現大量INSERT語句正在排隊等待鎖釋放。進一步排查事務日誌，問題浮現：三個線程可能同時提交同一隻股票的數據，導致主鍵衝突，係統自動回滾並重試，形成連鎖堵塞。
他立即暫停所有線程，關閉爬蟲進程。解決辦法不能靠降低並發，那樣等於放棄效率提升。他考慮了幾種方案，最終決定在數據入庫前加一層過濾——用內存中的哈希表暫存已接收的記錄指紋，隻有未重複的數據才允許進入數據庫。
他快速編寫去重模塊，以“股票代碼+時間戳”作為唯一鍵值，每次新數據到達先查表比對。為防止內存溢出，他還設定了緩存上限，超出部分按先進先出原則清理。
改完後重新部署。淩晨四點零九分，第二次啟動。
這一次，數據庫壓力顯著下降。I/O響應恢複到毫秒級，連接池穩定維持在十二個活躍會話左右。他調出統計麵板，計算單位時間內的有效入庫量。
“每小時一百七十六條。”他默念。
相比過去手動錄入或單線程抓取的每小時十來條，已是質的飛躍。他沒有停下，繼續優化解析規則，壓縮不必要的字段讀取，減少網絡傳輸體積。清晨五點三十八分，係統連續運行六小時無中斷，累計采集十萬三千六百八十二條行情快照，覆蓋滬深兩市所有上市公司四月份的完整日線數據。
林悅推門進來時，正看到主屏上滾動刷新的入庫記錄。
“這麼多？”她站在陳帆身後，聲音有些發緊，“這些數據……全都能用？”
“大部分可以。”他調出校驗報告，“人工錄入時期三個月才錄了八千多條，誤差率零點三；這批自動采集的十萬條，有效率九十一以上。剩下的問題是早期OCR識彆留下的臟數據，比如把‘ST長控’認成‘SＴ長空’，但這類錯誤有規律，能用清洗規則批量修正。”
林悅走近屏幕，看著那一排排不斷跳動的數字。“以前你總說我們看得太少，像摸黑走路。可現在……”她頓了一下，像是在估算眼前的信息量，“這夠分析一輩子了。”
陳帆搖頭。“還不夠。”他打開另一個代碼窗口，開始寫一個新的類，“我們現在拿的是快照，是靜態的片段。真正的市場是流動的，價格每秒鐘都在變。我要讓係統學會看活的數據。”
林悅沒再說話，隻是靜靜看著他敲下第一行代碼。
那是一個基於HTTP長輪詢的接口框架原型，目標指向證監會公開測試平台提供的實時行情流。雖然目前權限未開，協議細節也不明，但他已經開始準備接收邏輯。
上午八點二十三分，第一輪多源采集完成閉環驗證。係統在無人乾預下，持續六小時穩定獲取三大網站數據，經過去重、清洗、格式化後，完整寫入SQLServer主庫。數據庫總記錄數首次突破十萬大關。
陳帆保存當前版本，提交到本地代碼倉庫。他起身走到服務器機櫃前，檢查設備運行狀態。兩台機器風扇運轉平穩，機箱溫度正常，網口指示燈有節奏地閃爍綠光。
林悅收拾好自己的筆記本，臨走前把一份早餐便當放在桌角。“彆忘了吃。”她說。
陳帆坐在座位上，眼睛仍盯著新寫的接口代碼。他嘗試構造一個模擬請求包，向本地測試端口發送心跳信號。屏幕彈出響應結果：連接建立，等待數據推送。
他修改超時參數，將默認的三十秒延長至一百二十秒，防止因短暫斷流觸發頻繁重連。然後設定心跳間隔為五十秒，略低於服務端可能的檢測周期，確保連接始終在線。
又調試了十幾分鐘，基本通信模型跑通。他深吸一口氣，準備加入斷線重連機製。
就在他敲下“weTrue:”這一行時，數據庫監控窗口突然跳出一條警告。
新增數據流速驟降，三條采集線程中有兩條顯示“超時”，另一條雖保持連接，但返回內容為空白HTML。
他迅速切換到爬蟲管理界麵，查看各線程日誌。幾乎在同一時間，三家公司網站都加強了訪問限製——IP請求頻率閾值被調低，部分頁麵開始返回重定向指令。
他眯起眼，手指在鍵盤邊緣輕輕敲擊。
這不是偶然。
一定是係統在短時間內發起的高頻請求引起了對方服務器的注意。儘管加入了隨機延遲，但總量太大，終究還是觸到了警戒線。
他沒有立刻調整策略，而是先記錄下各個站點的響應變化模式。新浪開始要求攜帶特定Cookie頭，搜狐增加了JavaScript挑戰，網易則直接封禁了來源IP的後續請求。
“得換方式了。”他自語。
現有的輪詢機製已經走到極限。要想繼續穩定獲取數據，要麼更換出口IP，要麼改變請求行為，甚至可能需要模擬瀏覽器環境。
他新建一個文檔，標題寫著：“HeadlessClientProxy”。
然後在下麵列出幾個關鍵詞：虛擬用戶代理池、動態Cookie管理、DOM渲染支持、代理跳轉鏈路。
窗外陽光漸強，照在顯示器上泛起微光。他揉了揉眼角，重新投入編碼。
代碼逐行生成，一個更複雜的客戶端模型正在成型。它不再依賴簡單的HTTP請求，而是試圖構建一個能自主應對網頁防護機製的自動化訪問單元。
鍵盤敲擊聲持續不斷。
服務器指示燈依舊規律閃爍，數據庫連接數緩慢回升。
一條新的采集線程重新上線，使用更換後的IP和偽裝頭信息，試探性地發出第一個請求。