毕设答辩结束快两年了,最近整理旧文件翻出当时的代码和论文,做一个迟到的复盘。
项目是什么
一个面向校园场景的对话式检索系统:学生用自然语言提问(“下周四教三的讲座几点开始”),系统从学校各类文档中检索并组织答案。技术栈是经典的 RAG:文档切块 → 向量化 → 检索 → LLM 生成。
做得好的地方
1. 问题定义得早
开题时花了两周不做开发,只做用户访谈:问学弟学妹”你最想问学校系统什么问题”。最后定义的三类高频问题(办事流程、活动信息、规章制度)成了整个系统的主轴。先想清楚再动手,这是我做对的最重要的决定。
2. 评估驱动迭代
一开始就建了 120 条评测集,每次改动都跑一遍。后期很多”感觉更好”的优化,评测跑完发现其实在倒退——没有评测集,这些弯路根本不会被发现。
3. 切块策略花了足够多的时间
按段落语义切 + 保留标题层级 + 每块带上来源元数据,这套方案带来的提升比换更大的模型明显得多。
做得差的地方
1. 过度设计了前端
花了三周做了一个花里胡哨的对话界面,答辩评委根本没细看。项目的展示价值和它的真实价值经常不一致,当时不懂这个道理。
2. 记忆模块是半成品
多轮对话的上下文管理做得很粗糙,就是简单拼接历史。现在回头看,这正是我后来研究 Agent Memory 的起点——当时最痛的点,往往就是最有价值的方向。
3. 文档没同步维护
代码改了文档没改,最后写论文时很多设计决策想不起来为什么,只能反推。
如果重做一遍
- 检索部分会加上结构化关系(这正是知识图谱那篇笔记的动机);
- 记忆模块会按 FluxMem 的思路做冲突检测与更新;
- 前端只做能用的最小版本,把时间全砸在检索质量上。
最后
毕设最大的收获不是系统本身,而是完整走了一遍”定义问题—构建—评估—迭代”的闭环。这个闭环感,后来做研究时反复用到。
