腾讯 9.4 日最新开源的 WeMM-Embedding-9B 多模态嵌入模型应该是当世最强嵌入模型了把？众多微信用户数据一起养出来的

稍微偏题一下，我是觉得用 embedding 来做检索像是走了岔路，这都是在 LLM 不成熟的时候发展起来的 很早之前，我就发现 LLM 能做 in-context learning ，其实本质上就是在 context 内做检索，那 attention 能否直接来做检索呢？ 所以我试了一下，用 qwen-3.5 的 0.8B/2B/4B/9B 模型，直接把文本做 KV, 来了 query 后用 attention 来做检索，效果很好，LoCoMo 和 LongMemEval 的测试都是 SOTA ，在代码搜索上，也在一个 semble benchmark 上 SOTA 了，对 10M context 上搜索效果也很好（ qwen 3.5 原生 256K context ），并且用 swe-qa benchmark 做了测试，有了搜索后，在 CC 上 token 使用量下降 50%左右 当然代价就是空间和性能，其实主要是 index,也就是生成 KV 的时间较长，search 其实还好，不需要 decode,只需要在原始 KV 上 prefill 一下 query 就行，有 GPU 加速很快