2026 July
6.29 ~ 7.5
📖 Theme：Router Fine-tuned Model & Extractor Fine-tuned Model
🧠 Cognition
- 进行类似三分类微调注意训练集样本比例问题；
- llamafactory框架有时候可能会出现流程全部正常，但adapter文件保存失败，导致跑目标微调模型失效，微调完注意看adapter大小；
- llamafactory中yaml cutoff参数截断问题，超过cutoff的数据会直接截断训练，导致污染数据集，还要注意如果设置cutoff=4096，这里4096不是字符，要根据每个大模型的tokenizer进行计算实际值；
- 本地 agent cli 很容易犯的一个错误就是在将当前上下文泄漏，写涉及prompt相关项目的时候要尤其小心（可能会写入上下文部分名词以及莫名其妙的限制）；
- 让 few shot 代替 规则堆叠（即为了提升某个模型的数据而一直更改prompt，容易为某个狭小的场合特调prompt，不具备通用性）。
🖊️ Boundary
- ✔ 2026 June 月总结；
- ✔ 小红书简介 + 第一篇开题；
- ✔ 三分类微调模型迭代八个版本成功分类（建立训练集和测试集 + 教师期望数据 + baseline数据 + 学生微调数据）；
- ✔ 语义提取微调模型迭代四个版本测试集确立中幅度提升F2（Hard Sample 的语义提取与原zero shot的消融实验，且14b与32b都已测试）；
- ✔ Easy Medium 原 few shot 实验。
🎉 Next Theme：Go on Fine-tune Model
🧩 七月第一周的碎碎念
这周最大的就是体验就是换了时差🌕，我发现很神奇的一个事情就是强大的起晚了内耗惯性没了，这是我二十四岁人生第一次倒时差生活，往往都困在早上起来状态如何的一种感觉，如果起来状态不好往往动力就很差，而如今中午起床根本无所谓了，就是那种早起的业力心态没了，好神奇，而且晚上十点后沉浸式工位独处也很舒服，晚上凌晨两三点一个人离开工位回家也很开心，充足的七八小时睡眠实际上身体并没有感到不舒服，只是换了时差。
果然啊，还是喜欢生活于社群之中，在工位的快乐又回来了，这样的生活还能体验两三年就感觉很开心，虽然如今要肩负比当年大一更多的责任，但也很期待接下来的生活。
这周主要就是在弄微调模型🤖，长达两个月的各种方案的尝试终于看到了希望，所以感觉来了就一直在微调，中间当然碰到不少问题，也让我意识到了前两个月的各种尝试得到的结论也有很多价值，三分类和trace语义提取都得到了正反馈，这等待已久的正反馈…下一步就是扩大测试集进行实验了，说实话不到完整测试集上跑完之前是不敢开香槟的，现在在我心里依然是悬而未决。
生活上每天真是伙食变好了，已经好久没去食堂了，附近好吃又性价比高的都吃了一遍，我甚至都好久没一个人吃饭了，嗯，上个三年真的结束了，如今每周还能约出来玩或是晚上打会game🎮，啊日子可真美好。
总的来说，自从上次月记结束，感觉一下子就加快适应了如今的环境，协会前两天还刚好大扫除了，我的工位又升级了，工位旁边还有个小床，准备收拾收拾升级一下就能睡了，如果今年研究生宿舍真在三公里的G区，那估计真三天两头要睡工位了🛌。
下周继续微调实验，争取这两周优化完确定完整个流程，就可以对比各种baseline后完成实验了，当然每次专注一个事物其他事情都不干了，但说实话不能完全放，实验做累了换换脑子也好，下周一定把小红书🍠第一篇内容发出来。
7.6 ~ 7.12
📖 Theme（本周主线一句话：这一周你在解决什么问题）：Co2FuLL-Finetuning 2.X
🧠 Cognition（认知变化，理解变了什么）
- 规则是可以少量增加的，但所有样本跑完总是会有各种各有的小问题，我们是要抓住会影响代码通用点去增加规则；
- 如果要专门分析某些问题又不被上下文噪音干扰，可以新起一个codex去分析讨论问题，比起网页版的好处是可以让llm有更多上下文信息；
- 目前基线先要有提升空间，当感觉没有提升的了，就换一个角度想办法，比如时间角度、样本数量、方法等；
- 可以把错误样本优化一下进入训练集，相当于模拟卷放入训练集，真题放到测试集，到时候测试集里跑出来的错误样本特征都可以提出来放到训练集。
🖊️ Boundary（能力边界变化）
- ✔ Co2FuLL-Finting 项目流程优化，正式上传github记录每个版本迭代
- ✔ Co2FuLL-Finetuning 2.0
- ✔ Co2FuLL-Finetuning 2.1
- ✔ 新建 Co2FuLL-Extract 提取数据集
- ✔ 小红书第一篇月记
🎉 Next Theme：Co2FuLL-Extract
🥱 倦周
从周二打羽毛球🏸受伤开始，晚上没有灵感，没机会再运动，从台风要来开始，周末取消聚餐，哎。
刚好这周工位的人都回家过暑假了，这下子工位就我一个人了，公寓也无叶子🍃，又到了一个人的暑假时间…倒也不是一定有人在，想要的是有个人存在即可，但似乎我就得等到八月份有人回来，不知道剩下这半个月该怎么过，哎。
于是刚打完这段话就有人进来了，直呼woc，工位还是有人才开心，也要乘这个契机把时差稍微恢复一下，正好今天起的是最近最早的一次了，这周五又有高中同学生日聚餐，周末还要带着来杭玩的朋友出去玩一下，我的档期生活又要开始了。
7.13 ～ 7.19
📖 Theme：Co2FuLL-Baseline、Co2FuLL-Extract
🧠 Cognition
- 当任务不明确的时候，可以先讨论做出个plan，再开始agent工作；
- 对论文引用的原始数据库，做一个高度抽象，宏观描述该数据库作用，一个是以后可以复用，另一个是做emprical study要统一维度；
- 读论文自问三件套，形成论文体系；
- temperature 0：让模型尽量走确定性输出，减少随机性；格式更稳，解析失败概率通常更低；同一批样本重跑结果更可复现；对评测/路由分类更合适，因为我们不是要创意答案；
- Hermes Dist Similarity祛魅，HDS本身就用来挑选top5，可以排除一部分FN和FP样本，如果用来三分类或者跑baseline，小模型可能会通过HDS硬猜，不如论文最原始的few shot；
- 小模型输出原论文的标签格式最稳定，json可能容易出错。
🖊️ Boundary
- ✔ XM数据集 top20构建 + Few Shot Baseline
- ✔ XA、XC、XM top5构建 + Few Shot Baseline
- ✔ 构建 Min F2 测试集
- ✔ 构建历史错误样本特征库 + 提取FN、FP特征
- ✔ 构建 Train 训练集1.0、2.0、2.1 + Few Shot Baseline + 构建 Train 2.1 教师数据
- ✔ Router adapter 3.0、3.1、3.2、3.3 训练 + 三分类 Few Shot Baseline
- ✔ SoK论文初稿
🎉 Next Theme：Co2FuLL-Finetuning Trace
❓ 周吗
不得不说偶尔有些纠结时差，然而这个暑假我其实想几点睡都可以，我不必再受一些平常的社会时钟所束缚，感觉受社会时钟的束缚太久，都会惯性的焦虑一些这个暑假不用焦虑的事情，徒增烦恼。
又过了一周，由于工位在顶楼，算是狠狠的体验了杭州的夏天，一台空调根本顶不住顶楼的整个房间，白天还挺热的，工位也只有工作日才能见到人，不过再过两周好多人就回来了，到时候就有意思了，虽然不是很喜欢现在人不多的工位，但也该享受独自一人工位的自由时间。
这周脚伤好了很多，不过估计至少也要再等一两周才能运动，这点上还是挺难受的，运动带来全身放松与心情的转换这两周失效，自己一个人呆的也挺郁闷的，不管是工位还是公寓都是一个人，杭州的烈日也根本很难约出来玩，不过还有秋天、冬天和春天，新的一个大学三年又要开始了，噢，今年好运的是研究生住学校本部宿舍了，太开心了。
这周做实验感觉到了一个神奇的感觉，就是大概可以预测到本次baseline的结果，并不是猜，而是基于过往无数失败经验的合理推测，之前跑baseline像是在抽奖，或者是跑几百个样本就想看一眼，现在情绪很稳定了，整个测试集跑完我才看，局部结果不能代表整体结果。
这周也祛魅整个DBs了，理清了整个数据库的脉络，其实早该理清了，还是会本能性逃避未知，但其实这个未知一捅就破，现在整个原始项目才是自己搞清楚了，于是构建好测试集和数据集，后续的Router与Trace才能更得心应手的展开了，这周Router3.3的结果比我想象的要好，这倒是惊喜的一点了，下周要是攻克Trace，这长达两三个月独自一人调研 + 搭环境 + 跑Baseline + 迭代方案总算是有回报了，当然导师也在每周的讨论中给我点出不少地方，少走了一些坑与指明了一些方向，有人讨论真好。
不过这几个月做的最正确的决定会提前入校了，果然还是在工位状态会好很多，我依然记得五月初在家半死不活的状态，现在尽管会不在状态，但在新环境总是能托住我不会太糟糕，真的很想好好享受这个暑假，相对来说压力没有那么大，朋友好多可以约，没有杂事，只有自己想做的事，现在我要去拿我的抹茶暴风雪了，因为不用管明天几点起，所以我晚上也可以吃抹茶。
About this Post
This post is written by P.Z, licensed under CC BY-NC 4.0.