核心能力
RAG Engineer 是一款专注于检索增强生成（Retrieval-Augmented Generation）系统的专业技能，旨在解决大语言模型在知识密集型任务中的幻觉问题与知识时效性问题。
核心用法
该技能围绕文档到答案的完整链路提供工程化指导：
1. 语义分块（Semantic Chunking）：打破固定token限制的误区，基于句子边界、主题连贯性和文档结构进行智能切分，确保上下文完整性
2. 分层检索（Hierarchical Retrieval）：构建多粒度索引体系（段落→章节→文档），通过粗筛+精排的两阶段策略提升召回精度
3. 混合搜索（Hybrid Search）：融合BM25关键词匹配与向量语义相似度，利用RRF（倒数排序融合）算法实现互补优势
4. 上下文窗口优化：基于相关性阈值动态筛选片段，避免简单堆砌token导致噪声淹没有效信息
显著优点
- 问题导向的Anti-Patterns：明确标注固定分块、全量嵌入、忽视评估等常见陷阱
- 工程细节丰富：提供可落地的代码级模式，如重叠窗口设计、元数据过滤、父子文档关联
- 评估体系完整：强调检索质量与生成质量需独立评估，建立系统优化反馈闭环
局限性与风险
| 局限 | 说明 |
|------|------|
| 内容类型适配 | 单一嵌入模型难以同时优化代码、法律、医疗等专业领域 |
| 动态更新成本 | 源文档变更时需触发嵌入刷新，大规模语料维护复杂 |
| 查询意图差异 | 不同问题类型（事实查询vs摘要vs对比）需差异化检索策略 |
核心风险：
- 幻觉传导：若检索阶段召回错误片段，LLM倾向于"忠实"复述错误信息，形成"有据可查的幻觉"
- 检索-生成耦合失效：未分离评估时，难以定位是"找错"还是"答错"
- 嵌入漂移：领域概念演进导致语义空间偏移，需定期重训或微调
适合人群
- 构建企业知识库、客服机器人、文档问答系统的后端工程师
- 需将非结构化数据（PDF、网页、手册）转化为LLM可用格式的数据工程师
- 已有向量数据库基础，希望优化检索质量的RAG应用开发者
最佳实践建议
1. 优先实施"Sharp Edges"中的高严重性项（语义分块、独立检索评估）
2. 对专业领域内容评估专用嵌入模型（如E5、BGE、领域微调版本）
3. 建立检索结果的人工抽检机制，设定NDCG@10或Recall@K基线
来源与可信度
源自开源社区技能库（vibeship-spawner-skills，Apache 2.0），作者무펭이为活跃AI工程实践者，内容基于真实项目经验而非理论推演，属于Tier 2可信来源（社区验证的实践指南）。