colbert

传统的向量搜索方法通常采用句子级嵌入（sentence embeddings）来定位相似内容。然而，通过对词元嵌入（token embeddings）进行池化来生成句子嵌入，可能会牺牲词元级别所蕴含的细粒度细节。ColBERT 通过将文本表示为词元级多向量（multi-vectors）而非单个聚合向量，克服了这一局限。这种方法利用词元级的上下文后期交互（contextual late interaction），使 ColBERT 相比仅依赖句子嵌入的方法能够保留更微妙的语义信息，并提高搜索准确度 …