Embedding 与向量检索入门

Embedding 把一段文本映射成一个高维浮点向量,语义相近的文本在这个空间里距离更近;向量检索就是"先算向量,再比距离"。它是 RAG、语义搜索、去重、推荐的共同地基,理解成本很低,但工程细节(相似度度量、索引选型、 …

上下文窗口与 KV Cache:长文本为什么贵

长文本贵有两个原因——注意力计算量随序列长度平方增长,KV Cache 显存占用随序列长度线性增长且数额可观。API 按 token 计费,本质上就是把这些算力和显存成本折算给你。理解这两笔账,你对"为什么 128K 窗 …

temperature、top_p 采样参数怎么选

temperature 控制"下一个 token 的概率分布被削尖还是拉平"。分类、抽取、JSON 输出这类要确定性的任务用 00.2;创意生成用 0.71.0;通用问答取中间值。top_p 与 temperature …

Tokenizer:模型眼中的文本是什么样的

模型不认识汉字也不认识单词,只认识 token。上下文窗口限制、API 计费、输出截断、速率限制,全都按 token 计算。后端工程师接 LLM API,第一件该搞清楚的事就是:我这段文本会变成多少个 token。 文本 …

Transformer 注意力机制通俗拆解

注意力机制的本质是一次"软化的加权检索"——每个 token 拿自己的 Query 去和序列里所有 token 的 Key 算匹配度,再按匹配度对 Value 加权求和。理解了 Q、K、V 三个矩阵从哪来、怎么算 …

Redis 哨兵与集群模式选型

选型的分水岭是"单机内存装不装得下":装得下(经验上 10~25GB 以内)就主从 + 哨兵,架构简单、功能完整;装不下或写入 QPS 单机顶不住,才上 Cluster 分片。不要为了"先进"直接上 Cluster——它 …

缓存与数据库一致性方案对比

缓存和数据库是两个独立系统,不存在零不一致的免费方案;主流选择是 Cache Aside(旁路缓存)——读:先缓存后库并回填;写:先更新库,再删除缓存。配合过期时间兜底和 binlog 订阅异步补偿,即可满足绝大多数业务 …

Redis 分布式锁的正确姿势与 Redlock 争议

生产环境直接用 Redisson,不要手写 SETNX 锁;Redlock 算法在学术界有明确争议,实践结论是——锁用于"效率"(防止重复计算)时单实例 Redisson 足够,用于"正确性"(防止重复扣款)时必须上 …

Redis 持久化:RDB 与 AOF 的取舍

Redis 4.0+ 生产环境直接用混合持久化(aof-use-rdb-preamble yes):重启时先加载 RDB 快照再追加 AOF 增量,兼得 RDB 的恢复速度与 AOF 的低丢失窗口。纯缓存场景可以干脆关闭 …

缓存穿透、击穿、雪崩三件套的对策

三个问题一句话分清——穿透是"查的数据根本不存在",击穿是"一个热点 key 失效的瞬间被打穿",雪崩是"一大片 key 同时失效或 Redis 整体不可用"。对策分别是:空值缓存 + 布隆过滤器、互斥重建 + 逻辑过期 …

分库分表:什么时候做以及怎么做

分库分表是"最后手段"而不是"第一反应"——先归档、先读写分离、先缓存,数据量与写入 QPS 确实顶不住了再拆。一旦拆了,跨分片查询、分布式事务、扩容这三座山会伴随系统终生;所以动手前想清楚分片键和扩容方案,是整个决策里 …

Redis 数据结构底层:从 SDS 到跳表

Redis 快,一半靠单线程避免锁竞争,另一半靠每个类型背后都有一套"为场景定制的数据结构"。用 OBJECT ENCODING 观察 key 的底层编码,是排查内存暴涨和大 key 的第一步。 SDS:为什么不用 C …

lbk_runtime@engineering-notes: ~ hover 展开 · Esc 收起
Last login: 2026-11-18 21:06:07 from console $ whoami LBK_Runtime — 后端 & AI 工程师,写 engineering-notes $ neofetch site: engineering-notes author: LBK_Runtime posts: 93 篇 · tags: 44 个 rss: /index.xml hint: 输入 help 查看可用命令
lbk_runtime@engineering-notes:~$