论文
Seven Failure Points When Engineering a Retrieval Augmented Generation System
Key
一、丢失内容（ Missing Content ）
- 提问的问题，无法在被检索文档库中找到，最准确的答案是缺失的。
- 比较好的情况是回答"我不知道"。但事实上，它却会编造一个看似正确的错误答案。
二、错过了最相关的文档（ Missed the Top Ranked Documents ）
- 问题的答案在文档库中，但排名得分不够高，无法返回给用户。
- 理论上，检索过程中所有文档都会被排名得分。然而，在实际操作中，会返回排名前K个文档，为了提高召回率，K不可能设置的无限大，必须基于LLM大模型的能力，折中选择的一个值。
三、不在上下文中（Not in Context - Consolidation strategy Limitations）
- 有时候，可能会检索到大量的的文档，受限于模型的context大小限制，需要进行整合修剪才能传给大模型，但这有可能导致真正包含的答案未能放进上下文中。这种情况一样会导致模型产生幻觉，除非Prompt明确指示模型不返回不在上下文中的结果。
四、无法提取（Not Extracted ）