.4文本相似度計算
文本相似度計算是自然語言處理np）領域的一個重要研究方向，它旨在衡量兩個或多個文
本之間的相似程度。文本相似度計算的原理基於兩個主要概念：共性和差異。共性指的是兩個文本
之間共同擁有的信息或特征，而差異則是指它們之間的不同之處。當兩個文本的共性越大、差異越
小，它們之間的相似度就越高。
文本相似度計算可以根據不同的分類標準進行分類。首先基於統計的方法分類，這種方法主要
關注文本中詞語的出現頻率和分布，通過統計信息來計算文本之間的相似度。常見的基於統計的方
法有餘弦相似度、jaard相似度等。其次是基於語義的方法分類，這種方法試圖理解文本的含義
和上下文，通過比較文本的語義信息來計算相似度。常見的基於語義的方法有基於詞向量的方法
如ord2vec、gove等）和基於主題模型的方法如da、psa等）。最後是基於機器學習的方
法分類，這種方法利用機器學習算法來訓練模型，通過模型來預測文本之間的相似度。常見的基於機器學習的方法有支持向量機sv）、神經網絡等。
目前，在國內外，文本相似度計算已經取得了豐富的成果。國內方麵，清華大學等機構的研究
者提出了基於深度學習的文本相似度計算方法，利用神經網絡模型來捕捉文本的深層語義信息，實
現了較高的相似度計算精度。江蘇師範大學的研究者提出了利用《新華字典》構建向量空間來做中
文文本語義相似度分析的方法，該方法在中文文本相似度計算方麵取得了顯著的效果。放眼國外，
googe的研究者提出了ord2vec算法，該算法將詞語表示為高維向量空間中的點，通過計算點之
間的距離來衡量詞語之間的相似度。ord2vec算法在文本相似度計算領域具有廣泛的影響。斯坦
福大學等機構的研究者提出了bert模型，該模型通過大量的無監督學習來捕捉文本的上下文信
息，可以實現高精度的文本相似度計算。bert模型在多項自然語言處理任務中均取得了優異的表
現。
2.5本章小結
本章主要介紹了本項目中使用的四種關鍵技術與模型。這些技術主要基於大型語言模型，並且
依賴於rag技術的原理。介紹了知識抽取技術，它利用先進的自然語言處理技術從文本中提取有意
義的信息和知識，隨後討論了文本處理中所使用的rag技術，該技術可以顯著提高大型語言模型在
專業領域的性能，增強信息檢索的準確性和效率。最後探討了在文本比對過程中所需的相似度計算
方法，這對於評估文本之間的相似程度至關重要。
非結構化文本數據通常非常稀疏，即包含大量的詞彙但每個文檔隻使用其中的一小部分。而結
構化數據則可以通過合並相似信息來降低數據的稀疏性，這有助於生成更加緊湊和有效的嵌入向
量。
結構化數據可以實現更高效的特征提取。結構化數據通常已經按照特定的模式或結構進行了組
織，這使得我們可以更加高效地從中提取有用的特征如標題、作者、摘要、關鍵詞等）。這些特bedding的輸入，幫助生成具有更強區分性和泛化能力的嵌入向量。結構化數據
中的元素如主題、類彆、屬性等）通常具有明確的含義，這些含義可以在&nbedding過程中被保
留下來。因此，基於結構化數據的嵌入向量往往具有更強的解釋性，有助於我們更好地理解模型的
預測結果和內部機製。
3.4本章小結
本章介紹了研究所選文獻數據的獲取來源和途徑。通過python爬取的方式獲取大部分文獻數