Index

1734876505424.png

Multi-representation Indexing

使用LLM生成针对检索进行优化的文档摘要(“命题”)。嵌入这些摘要以进行相似性搜索,但将完整文档返回给LLM进行生成。

【多模态的例子】

相关的: 父级documents的索引

Specialized embedding

做token到text级-ColBERT

d06hjgzh.bmp

Hierarchical index-RAPTOR[2]

【raptor 效果也很好,就是需要总结,看总结的咋样了

raptor 原文是对 chunk 聚类,然后每个聚类做总结】

【ragflow 使用了RAPTOR】

【是不是能解决查询出来的chunks太多大于llm窗口的问题?】

spRAG [3]

【这个 spRAG 的 rse 比子母 chunk 要灵活一点, 试了一下 】