A1--梁业东--LLM在功能测试用例中的应用.pdf

1、LLM 在功能测试用例中的应用梁业东趣丸科技-高级研发工程师梁业东趣丸科技-高级研发工程师趣丸科技高级研发工程师，从事运维领域相关工作 8 年，专注于运维平台建设和k8s相关组件开发。曾参与趣丸科技的容器云平台项目建设，成功实现了容器化操作的标准化、可视化和审计的统一。目前负责测试用例生成的开发和推广，致力于提升软件测试流程的效率和准确性。目录C O N T E N T S1.LLM 与 软件测试场景2.测试用例生成工具的探索3.趣丸科技落地实践分享4.未来展望LLM 与 软件测试场景测试流程介绍测试流程主要涵盖哪几个重要的工作场景？需求分析测试用例编写业务功能测试API 及 自动化测试各工作

2、场景的耗时占比功能测试用例什么是功能测试用例？1.目的明确，功能是否能够按照需求文档或用户故事中定义的方式正常工作2.步骤详细，提供清晰的操作指引和预期结果3.结果可验证，定义成功的标准，确保功能是否正确执行功能测试用例为什么先做功能测试用例生成？测试用例占比时间比较多因为它以文本的理解和生成为主相比其他工作场景，测试用例场景更能体现 LLM 的优势测试用例生成相比其他的几工作场景，更容易看到落地的可能性。测试用例生成工具的探索流程介绍关于借助 LLM 生成测试用例的大致流程遇到的难点1.受于 token 的限制，输入的上下文会受到约束，而输出的用例结果会经常出现中断或降低对测试点的覆盖2.生

3、成有效占比只能达到 30%左右产品化方式如何产品化测试用例生成这一功能？聊天模式方案1.用户友好，用户可以像与真人对话一样提出需求2.灵活性，根据用户的想法自由地描述测试场景3.对话式记录，对话记录作为上下文，便于 LLM 及时响应用户想法生成模式方案 1.精确控制,用户通过界面输入测试数据，细粒度管理用例。2.固化场景,为场景提供定制化控制选项。3.集成自动化,为后续的测试流程自动化打下基础。聊天模式方案探索了解方案的核心流程聊天模式方案探索方案涉及的核心能力1.产品文档的RAG根据需求召回文档解析文档的格式及层级，尽可能的让 LLM 与人类的理解保持一致3.长文本输出由于 LLM 的tok

4、en 限制，用例结果输出受到限制2.聊天记忆同样受限于 LLM 的 token限制，长文本的输入受到限制4.测试点的覆盖用例生成后如何尽可能覆盖功能文档中的所有测试点聊天模式方案探索1.产品文档的召回(RAG)a.产品文档解析与存储b.产品文档块召回流程聊天模式方案探索2.关于聊天记忆由于 LLM 的输入token 限制，以 GPT4o 为例子，它的输入是 128k，而输出只有 4k，所以我们需要对记忆进行串改，并分成了以下两个类型：短期记忆，指围绕 最近一次 的用例结果的上下文长期记忆，指 会话历史中某一次 的用例结果的上下文聊天模式方案探索关于聊天记忆-短期记忆短期记忆，指围绕 最近一次

5、的用例结果的上下文聊天模式方案探索关于聊天记忆-长期记忆长期记忆，指 会话历史中某一次 的用例结果的上下文聊天模式方案探索3.长文本输出通过代码判断结果的格式是否完整，驱使 Agent 进行用例的续写，最后进行合并聊天模式方案探索4.测试点的覆盖通过多个Agent 模式进行用例结果的 反思，重新思考是否需要进行测试点补充聊天模式方案探索最终结果，不及预期 1.数据的召回不稳定主要同一个类似的描述在文档会多次出现，导致用例结果不一样3.用例都是散落在会话中事后难以回顾及管理，同时也增加了后续研发流程标准化难度2.用户习惯点击生成用例而不是通过大量的聊天去生成用例那我们应该如何改进？不妨听听用户是

6、怎么说的？用户A:明显感觉相比 Demo 对文档的测试点基本能覆盖用户B:对于有效的用例，我想进行保留但没办法操作用户C:每次让 AI 去修改的时候都是整版修改非常的耗时，而且改的时候会可能覆盖有效用例趣丸科技的落地实践分享生成模式方案落地生成模式的优势是什么？用例管理 跟随版本迭代,管理方式更符合平时的工作模式固化流程 通过固有流程去生成用例，省去不稳定的意图识别工程化结合通过标准流程和 UI 交互,减少对 LLM 的依赖强调人在回路 用户的输入、决策或反馈被集成到系统的运行闭环中生成模式方案落地方案涉及的核心能