NLP

关于毕业后再学 TF-IDF 这档事
用我自己的白话来讲一遍 TF-IDF。从 term 与分词开始,到 TF、IDF、查询打分、BM25,再到博客里推荐相关文章的实践。也算是还了一下没听 NLP 老师课的债,有需要再学果然更容易看进去。
1738 字
|
9 分钟
Cover Image of the Post
Sparse vs Dense:从 BPE 到 Hybrid Search
从"稀疏和稠密到底是什么意思"这个困惑出发,一路走通了 embedding pipeline、subword 与词典、输入长度的影响,最终搞清楚稀疏和稠密的区别以及 figure out 它们实际的应用场景。
4577 字
|
23 分钟
Cover Image of the Post
了解 RRF 和 Hybrid Search:基于时间的检索应该以什么形态混合,以及它在项目场景和陪伴场景的适配性
MoeChat 衍生讨论 RRF 和 Hybrid Search:时间检索应该以什么姿态参与混合检索?在不同场景里如何适配?以及 wikimem 和 XnneHangLab 的边界划分。
8472 字
|
42 分钟
Cover Image of the Post