论文阅读笔记

A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models

检索技术被用来面对输入查询时提取相关的外部信息，其典型的应用场景就是谷歌百度这样的搜索引擎。而近来火热的生成式模型面临的场景问题——幻觉，也可以一定程度上用检索技术解决

retrieval 可分为 sparse and dense, 标准是对信息的编码方式，前者基于词语，也就是直接当做文本信息，后者会使用词嵌入，将信息编码进向量空间，更为复杂
spares: 常用的方法是使用术语和逆文档频率排序，选取相关度最高的，也会被用于提供上下文学习的证明，缺点是对术语的依赖性较强
dense: 与前者不同，以词嵌入为搜索标准，例如依据semantic similarity，选取最相似的，实例有BERT-based backbone 等

Retrieval Granularity: 粒度的选取非常重要，会影响模型的性能和效率表现，数据库的检索和计算开销等
早期的检索增强语言模型倾向于检索出整段文档，模型学习检索到的文档，并在其中定位答案
近年常用的有Chunk retrieval, token retrieval(检索更快，但数据库压力较大，适合模式稀有且需要不常用领域数据的情况)