Embedding 与向量检索入门
Embedding 把一段文本映射成一个高维浮点向量,语义相近的文本在这个空间里距离更近;向量检索就是"先算向量,再比距离"。它是 RAG、语义搜索、去重、推荐的共同地基,理解成本很低,但工程细节(相似度度量、索引选型、 …
# AI · 53 篇
Embedding 把一段文本映射成一个高维浮点向量,语义相近的文本在这个空间里距离更近;向量检索就是"先算向量,再比距离"。它是 RAG、语义搜索、去重、推荐的共同地基,理解成本很低,但工程细节(相似度度量、索引选型、 …
长文本贵有两个原因——注意力计算量随序列长度平方增长,KV Cache 显存占用随序列长度线性增长且数额可观。API 按 token 计费,本质上就是把这些算力和显存成本折算给你。理解这两笔账,你对"为什么 128K 窗 …
temperature 控制"下一个 token 的概率分布被削尖还是拉平"。分类、抽取、JSON 输出这类要确定性的任务用 00.2;创意生成用 0.71.0;通用问答取中间值。top_p 与 temperature …
模型不认识汉字也不认识单词,只认识 token。上下文窗口限制、API 计费、输出截断、速率限制,全都按 token 计算。后端工程师接 LLM API,第一件该搞清楚的事就是:我这段文本会变成多少个 token。 文本 …
注意力机制的本质是一次"软化的加权检索"——每个 token 拿自己的 Query 去和序列里所有 token 的 Key 算匹配度,再按匹配度对 Value 加权求和。理解了 Q、K、V 三个矩阵从哪来、怎么算 …