汽车OTA自动化测试解决方案

黑白年代

随着 5G 等无线通信技术的快速发展，汽车行业与无线通信技术进一步融合，正快速推动着汽车智能化的发展进程，而OTA技术则是汽车智能化的标志之一，OTA升级持续给客户提供新的功能，不断增强用户体验。同时也可以修复用户反馈的软件问题，增强制造商的售后服务体验。
目前OTA远程升级技术已成为众多汽车制造商的标配。由于OTA升级可能会带来潜在的风险（特别是包含ECU固件更新的FOTA升级），针对OTA系统的测试过程就尤为重要。
汽车OTA测试内容 Vehicle OTA test content

1) 人机交互测试（OTA功能测试）

1、OTA后台管理操作（与TSP交互）

OTA后台管理操作主要负责OTA包的上传、OTA升级策略制定，包含后台登录、车型选择、车辆VIN号确认、OTA发布等。
2、OTA升级前资源预置
在OTA升级之前，需先将车机刷为初始版本（OTA升级之前的版本），之后会进行资源预置（例如安装常用的App、复制音视频文件、输入聊天记录），目的是检查OTA升级之后现场是否会发生变化（已安装的App或者聊天记录是否会丢失）。
3、执行OTA升级操作
测试工程师会分三种方式执行下载任务（中控屏下载、手机端下载、定时下载操作），将服务端的OTA升级包下载到车机，下载完成后系统提示测试工程师进行安装包的升级，如果满足升级条件则进入升级包安装过程，安装完成后测试工程师会检查版本号信息，以判断是否升级到最新版本，并同时检查之前安装的App和聊天记录是否有丢失的现象，以此判断本次升级是否成功。
4、异常场景下相关功能测试
OTA过程中的异常场景可能导致系统崩溃，OTA测试需要模拟这些场景并验证该场景下系统是否做了规避处理，这些异常场景包含断点续传（掉电、通信中断或网络变差引起的下载中断）、下载失败/重试以及升级失败回滚到之前的系统版本等。


2) 软件可靠性及压力测试

1、OTA升级前置条件测试
安全性是汽车设计首要考虑的需求，OTA升级对各控制器系统进行更新，势必影响车辆状况，同时升级失败会导致车辆系统无法运行，确保升级的安全是各车辆系统设计的重中之重，因此在执行OTA包安装之前系统会对当前的车辆状况进行检查，一些特定的车辆状况下不允许进行OTA升级，例如汽车正在充电中、汽车电量不足等状况。测试工程师需要模拟上述前置条件，验证上述前置条件下系统是否会拒绝安装OTA包，以最大程度确保了升级过程的安全。
2、OTA升级成功率测试
OTA升级面向大量的汽车用户，为了确保安全需要测试多辆车升级的成功率，在正式发布OTA之前需要进行对多辆车进行多次OTA下载、安装过程的重复测试，以验证本次OTA升级的失败概率，提前发现一些随机潜在的风险，避免大规模OTA升级过程中出现问题。
3、多终端OTA下载的压力测试
支持OTA功能的车型越来越多，较多车辆可能会同时进行OTA下载操作，同时也考虑静默升级模式下OTA下载的场景，检验多终端同时下载OTA包场景下对服务器的影响，避免出现大规模升级时出现异常状况。
3) 各控制器功能、性能测试

OTA升级是对各控制器系统进行更新，表现可能是新增功能、系统性能优化、系统bug修改等，测试工程师除了要验证修改的点之外，还要检查是否引起新问题，特别是变化较大的模块，测试工程师需要根据OTA升级的内容制定相应控制器的测试策略。
人工OTA测试的痛点 Pain points of manual OTA test

1、OTA升级测试的一些特殊工况难以实现，这些工况涉及到不允许升级的前置条件、不同的网络环境等，往往很多制造商缺乏这方面的测试流程而带来一些潜在风险。
2、手动测试OTA过程繁琐，涉及多模块协同、多链路切换，不仅仅涉及TSP端操作，还涉及到手机与车机间操作；不仅涉及无线蜂窝网环境，也有无线WiFi环境以及局域网链路等。在上述环境下人工切换效率非常低。
3、车型多、版本多，人工测试工作量大、成本高、效率低，极大影响OTA发布进度。
如何应对OTA测试的挑战 How to deal with the challenges of OTA testing
1、通过仿真系统模拟不同的升级环境，实现对复杂环境的仿真，在试验环境中模拟实车的各种业务场景。
2、通过自动化测试系统全程控制整体测试方案，不需要人工参与，通过程序自动调用各个模块完成整个测试过程。
东舟OTA测试解决方案 Dongzhou OTA test solution

东舟OTA测试方案由人机交互系统、仿真系统、断言系统、自动化软件系统、TSP交互系统（OTA后台自动化管理）以及被测系统（各域控制器以及交互屏幕构成）构成。


1、人机交互系统（执行系统）
通过HMI机械手和ADB的方式实现与车机、手机的交互操作，模拟人工对测试过程的操作，实现单击、双击、滑动等，24小时不间断测试，提升测试效率，缩短测试周期。
2、仿真系统
仿真系统可模拟各种测试环境和工况，特别是针对人工测试难以实现的环境（如OTA安装的前置条件以及各种网络环境等）。
3、断言系统
提供图像、文字、声音以及报文等多种断言方式，自研图像算法，不受光线和角度影响，各种断言方式覆盖所有测试场景，确保对测试结果断言的准确性。
4、被测系统
由车机、屏幕和各种控制器组成，集成到台架上，通过CAN总线、ETH总线、LIN总线等连接在一起。
5、TSP自动化交互系统
TSP自动交互系统实现对OTA后台的操作管理，包含自动登录、升级策略确认、车辆选择、车辆VIN号确认等。
6、自动化软件测试系统（上位机）
东舟自研自动化测试系统，对整个测试过程进行控制，实现对测试过程的管理和执行。
东舟OTA测试方案的优势 Advantages of Dongzhou OTA test scheme

1、OTA自动化测试系统模块化设计，系统形态多样，可根据用户需求适配不同的自动化测试方案，目前有实车OTA专项、实验室UI交互专项和整车测试OTA方案。
2、图形化用例编写，编写过程简单，可读性强，无需编程基础亦可快速上手。
3、采用机械手模拟人机交互过程，最大程度还原用户与被测设备交互过程，确保了测试的准确性。
4、自研图像算法，不受光线以及角度的影响，确保了图像断言方式的准确性和稳定性。
5、自动化软件测试系统根据客户需求通过测试任务分发，自动执行测试过程，实现后台管理、升级过程以及升级后各模块测试的完全自动化，大大缩短测试周期。

慈悲喜舍

无论是不是沙发都得回复下