資料內(nèi)容：
一、LLMs 已經(jīng)具備了較強(qiáng)能力了，存在哪些不足點(diǎn)?
在 LLM 已經(jīng)具備了較強(qiáng)能力的基礎(chǔ)上，仍然存在以下問(wèn)題：
• 幻覺(jué)問(wèn)題：LLM 文本生成的底層原理是基于概率的 token by token 的形式，因此會(huì)不可避免地
產(chǎn)生“一本正經(jīng)的胡說(shuō)八道”的情況；
• 時(shí)效性問(wèn)題：LLM 的規(guī)模越大，大模型訓(xùn)練的成本越高，周期也就越長(zhǎng)。那么具有時(shí)效性的數(shù)
據(jù)也就無(wú)法參與訓(xùn)練，所以也就無(wú)法直接回答時(shí)效性相關(guān)的問(wèn)題，例如“幫我推薦幾部熱映的電
影？”；
• 數(shù)據(jù)安全問(wèn)題：通用的 LLM 沒(méi)有企業(yè)內(nèi)部數(shù)據(jù)和用戶數(shù)據(jù)，那么企業(yè)想要在保證安全的前提下
使用 LLM，最好的方式就是把數(shù)據(jù)全部放在本地，企業(yè)數(shù)據(jù)的業(yè)務(wù)計(jì)算全部在本地完成。而在
線的大模型僅僅完成一個(gè)歸納的功能
二、什么是 RAG?
RAG（Retrieval Augmented Generation, 檢索增強(qiáng)生成），即 LLM 在回答問(wèn)題或生成文本時(shí)，先
會(huì)從大量文檔中檢索出相關(guān)的信息，然后基于這些信息生成回答或文本，從而提高預(yù)測(cè)質(zhì)量。
2.1 R：檢索器模塊
在 RAG技術(shù)中，“R”代表檢索，其作用是從大量知識(shí)庫(kù)中檢索出最相關(guān)的前 k 個(gè)文檔。然而，構(gòu)建
一個(gè)高質(zhì)量的檢索器是一項(xiàng)挑戰(zhàn)。研究探討了三個(gè)關(guān)鍵問(wèn)題：
2.1.1 如何獲得準(zhǔn)確的語(yǔ)義表示？
在 RAG 中，語(yǔ)義空間指的是查詢和文檔被映射的多維空間。以下是兩種構(gòu)建準(zhǔn)確語(yǔ)義空間的方
法。
1. 塊優(yōu)化
處理外部文檔的第一步是分塊，以獲得更細(xì)致的特征。接著，這些文檔塊被嵌入。
選擇分塊策略時(shí)，需要考慮被索引內(nèi)容的特點(diǎn)、使用的嵌入模型及其最適塊大小、用戶查詢的預(yù)期
長(zhǎng)度和復(fù)雜度、以及檢索結(jié)果在特定應(yīng)用中的使用方式。實(shí)際上，準(zhǔn)確的查詢結(jié)果是通過(guò)靈活應(yīng)用
多種分塊策略來(lái)實(shí)現(xiàn)的，并沒(méi)有最佳策略，只有最適合的策略。
1. 微調(diào)嵌入模型
在確定了 Chunk 的適當(dāng)大小之后，我們需要通過(guò)一個(gè)嵌入模型將 Chunk 和查詢嵌入到語(yǔ)義空間
中。如今，一些出色的嵌入模型已經(jīng)問(wèn)世，例如 UAE、Voyage、BGE等，它們?cè)诖笠?guī)模語(yǔ)料庫(kù)上
預(yù)訓(xùn)練過(guò)
