原标题：【ChatGPT-应用篇】基于 chatGPT 覆盖测试过程的初步探索 | 京东物流技术团队

1、前言

22 年底 ChatGPT 就已风靡行业内外，简单来说，它是基于自然语言生成式 AI 模型，打造的一款聊天机器人。是 OpenAI 于 11 月 30 日推出的最新作品，供公众免费测试。他可以根据用户的提示，模仿类似人类的对话，和普通的智能机器人有天地之别，非常真实。我们跟他说各种内容，比如写代码、汇总周报、写邮件、写诗句、查百科什么的，ChatGPT 都对答如流，根本不在话下。

圈内开始尝试利用 chatGPT 提升工作效率，比如 VSCode，IDE 插件市场迅速上线 ChatGPT，诸多大神也纷纷基于 chatGPT 搭建微信、浏览器插件、客户端等。

如此火爆之势，作为测试人员对此也颇为好奇，简单的人机对话有哪些可以帮助我们测试工作呢？本文主要谈从测试视角，结合测试流程来看 chatGPT 的应用。

2、测试流程介绍

结合团队现有测试流程如下：

我们按照测试流程，拆解具体任务，测试人员在每个环节需要输出什么内容呢？

• 分析需求，编写测试计划，明确测试策略，包含安全、性能等，输出测试排期；
• 提炼出测试点，以功能点具体拆分测试用例，包含冒烟用例、流程用例、异常用例、联调用例等；
• 根据接口定义，提前准备自动化脚本，测试阶段按照业务流程增加断言及脚本调优；

再来细化，测试计划，提炼功能，这些必然需要测试人员通过自己对 PRD 的分析，对业务的熟悉后逐一定制，那 GPT 既然是人工智能对话，那我将总结出的 固定需求 对他进行发问，看看他的产出。

3、GPT 答案评估

编写测试用例

按照提炼出的测试点，以简明扼要的语言与他沟通一轮，

接着，由于 ChatGPT 有记忆功能，它能知道刚才我们让它干了什么，

再给他些引导，让他继续

换一个 GPT 客户端再试一轮呢

上图所示，他的回答基本属于测试基础常识，距离真正的工作中的用例要求还是相差很多，甚至有些答非所问。我问的边界值，等价类，判定表等都没有回答到位，仿佛依然从他所学所会的库里翻找，在拍脑袋随机写用例，而且和最开始问的自营车新增接口仿佛没有特定关联。但用来作为补充和借鉴是非常好的。把他当做搜索引擎来用，结果聚合度高，不用搜索多个页面，自己汇总模板答案。

编写自动化脚本

到了第二步骤，随着测试前置不断推进，我们期望自动化占比冒烟用例的比例逐步提升，那如何能够提升自动化脚本的编写速度，我们来看看 GPT 能不能助我们一臂之力呢？

先来接口自动化的试试

然后同样的场景问问 UI 的呢

如上，他回答问题时会出现偶尔中断情况，需要我们再耐心一点继续发问

如上 GPT 给出了一个简单的线性脚本。他的答案不能直接 copy，可能他的知识库没有覆盖足够的业务场景？

所以干脆我们直接跳过业务，问一个基础登录的示例，看看我们能用到哪些呢？

长截图不方便那我直接 copy 出来代码：

from seLenium import webdriver

import time

设置测览器塑动路径

driver = webdriver.Chrome(executable_path=/path/to/chromedriver)

打开网址

driver.get(http:/example/")

验证用户名和密码输入框是否存在

assert driver.find_element_by_name(username)

assert driver.find_element_by_name(password)

测试无效用户名和密码

invalid_username =fakeuser

invalid_password =fakepass

driver.find_element_by_name(username).send_keys(invalid_username)

driver.find_element_by_name(password).send_keys(invalid_password)

driver.find_element_by_css_selector(button[type="submit"]).click()

检查错误消息是香正碑量示

error_msg= driver.find_element_by_css_selector(,alert-danger).text

assert "用户名或密码不正确" in error_msg

测试正确凭证

valid_username = testuser

valid_password = testpass

driver.find_element_by_name(username).clear()

driver.find_element_by_name(username).send_keys(vaLid_username)

driver.find_element_by_name(password).clear()

driver.find_element_by_name(password).send_keys(valid_password)

driver.find_element_by_name("button[type="submit"]) .click()

验证是否成功跳转到主页

time.sleep(1) 等待页面刷新

assert driver.current_url == http://example.cn/home/

验证是显示用户信息

user_info = driver.find_element_by_css_selector(userinfo).text

assert valid_username in user_info

退出登录

driver.find_element_by_link_text("退出"),click()

关闭浏览器

driver.quit()

selenium 自动化脚本的启动和收尾没太大问题；然后验证用户名密码输入框是否存在，如果不存在就报错了；然后用一个错误的用户名密码 登录了一次，验证提示语是否正确；然后又登录了一次正确的用户名密码，验证是否可以跳转到主页；然后又验证了一下主页的用户名显示元素是否包含用户名；最后点击退出按钮，然后关闭浏览器。

分析以上脚本：

优点：GPT 写的代码基本没有语法问题，支持扫描被测试页面中的几个关键元素的定位；代码注释这点我觉得特别不错，是一个很好的代码规范，可以在我们日常中借鉴；

缺点：其中的正确用户名、密码、主页、主页用户名展示，主页退出按钮等都是 GPT 擅自揣测的且没有提前说明，如果给不懂脚本的人来看是会被忽悠住；

用例脚本太少了，和上面一大堆的用例完全不是一起来的；用例没有引入什么标准框架，比较落后；selenium 的定位写法也比较落后，最新的版本中这种写法是会报错的；

脚本没有分层概念，不能直接复用到现有的成熟框架里。

总结：代码还不能完全落地，仍然需要人来完善，但作为开个头来说还是不错的。

然后，我继续更新问题让其用 unittest 来重写，以便测试 GPT 能做到的极限。

import unittest

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

class LoginTestCase(unittest.TestCase):

def setup(self):

self.driver = webdriver.executable_path=/path/to/chromedriver)

self.driver.get(http://Logout/)

def tearDown(self):

self.driver.quit()

def test_invalid_credentials(self):

测试无效用户名和密码

invalid_usernane = "fakeuser"

invalid_password = "fakepass"

username_input = self.driver.find_element_by_name(username)

password_input = self.driver.find_element_by_name(password)

submit_button = self.driver.find_element_by_css_selector("button[type=submit]")

username_input.send_keys(invalid_username)

password_input.send_keys(invalid_password)

submit_button.click()

检查错误消息是否正确显示

error_msg = self.driver.find_element_by_css_selector(.alert-danger).text

self.assertIn("用户名或密码不正确，error_msg）

def test_valid_credentials(self):

测试正确数据

valid_username=testuser

valid_password=testpass

username_input = self.driver.find_element_by_name(username)

password_input = self.driver.find_element_by_name(password)

submit_button = self.driver.find_element_by_css_selector(button[type="subnit"])

username_input.clear()

username_input.send_keys(valid_username)

password_input.clear()

password_input.send_keys(valid_password)

submit_button.click()

验证是否成功跳转到主页

self.assertEqual(self.driver.current_url,"http://example/")

验证是否显示用户信息

user_info = self.driver.find_element_by_css_selector(.user-info).text

self.assertIn(valid_username, user_info)

def test_remember_me(self):

测试是否记住用户名和密码

valid_username =testuser

valid_password=testpass

username_input = setf.driver.find_element_by_name(username)

password_input = self.driver.find_element_by_name(password)

remember_me_checkbox = self.driver.find_eLement_by_id(remember_me)

submit_button = self.driver.find_element_by_css_selector("button[type=submit]")

username_input.clear()

username_input.send_keys(valid_username)

password_input.clear()

password_input.send_keys(valid_password)

remember_me_checkbox.cLick()

submit_button.click()

验证是否已记住用户名和密码

self.driver.get(http://example/")

username_input = setf.driver.find_element_by_name(username)

password_input = self.driver.find_element_by_name(password)

self.assertEqual(usernane_input.get_attribute("value"),valid_usernane)

self.assertEqual(password_input.get_attribute("value"),valid_password)

再来分析以上脚本，优点：使用了 uniitest 框架；增加了一条测试记住的用例；初始化的代码写在了 setup 可以保证每条用例的低耦合；缺点：数量，场景等仍然远远不足，且没有使用任何高级的写法，没有考虑时间等待等异常风险。 然后我再次提高询问水准，看看其代码程度，代码比较重复度高，截取一些关键点和新的部分：

import unittest

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

class LoginTestCase(unittest.TestCase):

def setUp(self):

self.driver = webdriver.Chrome(executable_path=/path/to/chromedriver)

self.driver.get(http:/example/)

def tearDown(self):

self.driver.quit()

def test_invalid_credentials(self):

测试无效用户名和密码

def test_valid_credentials(self):

测试正确凭据

def test_remember_me(self):

测试是否记住用户名和密码

def test_empty_credentials(self):

测试空用户名和密码

def test_long_credentials(self):

测试过长的用户名和密码

def test_lockout_after_failed_attempts(self):

测试多次失败登录后账户锁定

invalid_username = testuser

invalid_password = wrongpass

username_input, password_input, submit_button = self._get_login_elements()

for _ in range(3):

检查账户是否被锁定

error_msg = self.driver.find_element_by_css_selector(.alert-danger).text

self.assertIn(您的账户已被锁定, error_msg)

def _get_login_elements(self):

获取登录表单元素

username_input = self.driver.find_element_by_name(username)

password_input = self.driver.find_element_by_name(password)

remember_me_checkbox = self.driver.find_element_by_id(remember-me)

submit_button = self.driver.find_element_by_css_selector(button[type="submit"])

return username_input, password_input, remember_me_checkbox, submit_button

if __name__ == __main__:

unittest.main()

继续点评：

优点：用例条数增多，如果继续追问下去，应该还可以增加；有了初级 page-object 模式的影子，元素定位独立出来了；

缺点：代码冗余，没有充分利用好用例规程和并发线程，浪费了很多执行时间。仍然没有考虑到一些网络延迟，卡顿等异常风险的处理。尚无数据驱动和关键字驱动概念。

然后我们继续升级提问文案，让其并发一下：

def test_login(self):

使用多个数据组合测试登录功能

test_data=

[

(username:testuser,password:"testpass",expected_uri:"http://example/",expected_text:"欢迎testuser"},

(username:"fakeuser,password:"fakepass",expected_error:"用户名或密码不正确"},

(username:,password:"",expected_error:"请输入用户名"}

[

threads = []

for data in test_data:

thread = threading.Thread(target=self._perform_login, args=(data,))

thread.start()

threads.append(thread)

for thread in threads:

thread.join()

def _perform_login(self,data):

执行单次登录操作

username_input,password_input,submit_button=self._get_login_elements()

username_input.clear()

username_input.send_keys(data[username])

password_input.clear()

password_input.send_keys(data[password])

submit_button.click()

if expected_error in data:

error_msg = self.driver.find_element_by_css_selector(.alert-danger).text

self.assertIn(data[expected_error],error_msg)

else:

self.assertEqual(data[expected_url],self.driver.current_url)

self.assertIn(data[expected_text],self.driver.page_source)

点评：

优点：上述代码，使用了 thread 库进行多线程并发；巧妙的初步运用了数据驱动的概念，不但用户名密码是不同的，连每次的提示语和 url 都进行了断言；初步运用了关键字驱动，来让每个线程自动判断自身的断言目的。而 po 模式的影子仍然存在；

缺点：多线程的运用没有进行系统的封装，存在较大风险和局限；用例的内容结构比较单一，之前复杂的如测试浏览器记住用户密码等无法参与到这个并发中；线程是按照用例作为基本单位，对需要前后文关联的多用例是无法实现的，（所以需要在线程和用例之间制作新的中间层作为单位比较好）；数据分离仍然没有实现。

继续优化提问，看看结果：（代码仍然简化，只留下关键行）

class LoginPage:

def __init__(self, driver):

self.driver = driver

def load(self):

self.driver.get(http:/t/)

def login(self, username, password, remember_me):

输入用户名和密码

username_input, password_input, remember_me_checkbox, submit_button = self._get_login_elements()

点击登录按钮

def get_error_message(self):

return error_msg

def get_user_info(self):

return user_info

def _get_login_elements(self):

获取登录表单元素

return username_input, password_input, remember_me_checkbox, submit_button

class LoginTest(unittest.TestCase):

def setUp(self):

self.driver = webdriver.Chrome(executable_path=/path/to/chromedriver)

self.login_page = LoginPage(self.driver)

def tearDown(self):

self.driver.quit()

def test_valid_login(self):

测试正确凭据登录

test_data = {username: testuser, password: testpass, remember_me: True}

self.login_page.load()

self.login_page.login(test_data[username], test_data[password], test_data[remember_me])

验证是否成功跳转到主页并显示用户信息

def test_invalid_login(self):

测试无效凭据登录

def test_empty_username(self):

测试空用户名登录

class LoginKeywordTest(unittest.TestCase):

def setUp(self):

self.driver = webdriver.Chrome(executable_path=/path/to/chromedriver)

def tearDown(self):

self.driver.quit()

def test_valid_login(self):

测试正确凭据登录

test_data = {username: testuser, password: testpass, remember_me: True}

self._perform_login(test_data)

验证是否成功跳转到主页并显示用户信息

def test_invalid_login(self):

测试无效凭据登录

test_data = {username: fakeuser, password: fakepass, expected_error: 用户名或密码不正确}

self._perform_login(test_data)

检查错误消息是否正确显示

def test_empty_username(self):

测试空用户名登录

点评：

优点：增加了关键字驱动，数据驱动，po 模式，并发等高级用法。

缺点：各种高级用法割裂严重，并没有融合到一起去实现，而是单纯的写了好几个独立的类 demo。

总结：代码直接运行起来还是会有很多问题，需要大量人工矫正。同样在连续的对话中，也需要测试同学自身对代码和框架建设的理解，才能挖掘更深一步 GPT 更多的价值，否则首次发问的答案目前不能提供更多参考。

功能测试阶段

前期准备测试用例，现在开始执行测试，日常工作测试验证预期的三板斧呢？看页面，翻日志，查数据库。

于是，继续找他编写 SQL，查看日志，

增加查询条件再问试试

对于融入执行测试阶段呢，以上发问感觉像有了屠龙刀，但还没掌握对应的功法，他带给我们的回答只是用屠龙刀在砍树，整理问题思路的时间，以刚入门的测试同学的能力都足以完成基础 SQL 的编写。

4、总结

想要让 chatGPT 产出有效的回答，而不是对你 say sorry 需要遵循以下四个原则：

• 提问清晰：尽可能清晰的、完整的描述问题
• 简明扼要：尽量使用简单的语言和简洁的句子来表达问题，目前很多免费插件对描述字数都有限制
• 单一提问：请一个一个的问，而不是把所有问题放在一个问题
• 不要提供敏感信息：不要在问题中提供任何个人敏感信息

从上述实践可以看到，GPT 会帮助你实现一些细节和底层，开发过程我们需要更加注重表层应用和交互使用，日常中有不错的点子和设计，但是没足够的时间去亲力亲为的实现，大量的重复建设代码在浪费自己的精力，有了 GPT 理论上可以短时间内实现爆炸输出。在测试流程的应用，目前我还在初步探索阶段，是否能对团队测试工作提效，还需要进一步的研究，后续会陆续补充，欢迎大家线上线下随时交流。

作者：京东物流 刘红妍

来源：京东云开发者社区 自猿其说 Tech 转载请注明来源