摘要：

简要介绍了第三方评测的目的/意义及评测过程中可能存在的问题，详细阐述了《中国联通GSM/WCDMA网络性能评估规程》及其《前台仪表技术规范》、《后台分析软件技术规范》的制定，详细论述了第三方评测过程中的组织管理、网络设置合理性监察及异常事件处理。

关键词：
　　网络性能；第三方评估；组织体系；管理流程
　　中图分类号：TN929.5           
　　文献标识码：A           
　　文章编号：1007-3043（2011）11-0080-05

1、第三方评测的目的和意义

中国联通的移动网络第三方评测是网络质量评价体系的重要组成部分。第三方评测工作是通过对第三方机构测试采集到的覆盖类、干扰类、接入类、保持类及业务质量等网络指标进行分析，对现网质量进行客观公正的评测，实现对分公司与主设备厂商优化工作效果的考核，为后续的网优工作指明方向。

移动网络第三方评测是最贴近用户感知的网络评价方法。它采用路测（DTt）和定点呼叫质量测试（CQT）2种典型的用户应用模式，着眼于深度覆盖和广度覆盖2个重要的移动网络优化领域，对语音呼叫、视频通话、数据上传下载、流媒体等业务进行全方位的考评。基于用户感知的DT/CQT网络质量评价较传统的以操作维护中心（OMC）为主要数据来源的网络质量评价体系具有无法比拟的优势。

同时，鉴于移动网络第三方评测能采集到所有运营商无线网络空口的质量指标，因此也可作为不同运营商移动网络质量横向对比的主要手段。将各家运营商的指标进行横向对比分析，可找出网络间的质量差异。这些对比结果对于网优工作具有重要的指导意义。公司还可依托这些现网数据及时地调整投资计划、市场策略及营销方案等。

另外，鉴于中国联通正在确立基于DT/CQT数据、MR数据、话统数据等多数据源的移动网络综合评价体系，而第三方评测作为该体系的重要组成部分，因其最能体现用户感知，故而成了客观评价网络质量的有效途径。

2、评测工作中可能存在的问题

由于移动网络质量第三方评测在工作内容、形式及环境方面的特殊性要求，因此在评测过程中可能会存在一些影响测试进程，甚至于影响测试结果的科学性、公平性问题。这些问题主要会出现在人员、前台仪表、后台软件及组织管理等方面。

2.1  人员类问题

a） 测试人员素质的参差不齐影响到测试数据的有效性和完整性。例如：不规范的仪表操作有可能产生无效测试数据；在数据存储、回传过程中的操作失误有可能造成数据丢失等。

b） 评测方法不统一影响到统计结果的公平性。例如，测试终端的摆放方式、测试人员与测试设备间的相对位置，以及测试车辆的选择都可能影响到测试结果。

2.2  仪表类问题

a） 不同品牌仪表无线参数采样频率的不一、DT测试车速不均匀等，会影响到无线覆盖指标的公平性。

b） 当指标采集参考点有差异时，即使在相近无线环境下，其测试结果的差异性也会较大。

c） 仪表针对LOG数据的加密功能不稳定，会产生无效数据。

d） 仪表配置步骤复杂，厂家未考虑一键配置功能。

e） 仪表缺乏超出区域测试时的必要告警。

2.3  后台软件问题

a） 海量LOG数据解密速度较慢，影响指标统计效率。

b） 海量LOG数据有效性判断准确性有待提高。

c） 不同厂家后台软件对指标定义差异性较大。

2.4  组织管理类问题

a） 存在测试人员利用仪表功能篡改测试LOG数据的风险。

b） 如何避免测试人员有选择地回传LOG，确保测试结果的准确性。

c） 如何避免不同版本的仪表进入测试过程。

d） 如何将第三方评测工作的前后台有效衔接。将第三方评测工作的前后台进行有效衔接也是组织管理工作的重要环节。由于评测工作的时效性较强，在前台完成数据回传后，后台必须于当天完成数据的有效性判断，并根据有效数据尽快统计出网络性能；而无效数据往往反映出现场测试人员或仪表出了问题，后台必须马上将问题反馈到前台，前台应立即考虑修正问题并在相应范围内安排重测或补测等工作。如果前后台的衔接滞后，就有可能造成大量的数据作废，从而影响评测工作进度、造成人力物力损失。

2.5  其他问题

a） 防止出现单纯以改善某些指标为目的的现网配置数据修改行为，特别是违背网优基本原则行为。

b） 评测过程中异常事件的定义、责任追溯和应对方案。

由上述可知，如何避免各种负面因素对评测过程和评测结果产生的负面影响，就成了评测工作组织管理的重点和难点。

3、第三方评测组织管理工作的主要内容

结合以往测试工作经验，在确定评测工作中有可能影响科学性、公平性和公正性各种因素后，将第三方评测组织管理工作的主要思路明确为以下几个方面。

a） 制定详细的第三方评测操作规范，细化前台人员操作仪表流程。

b） 将前后台衔接流程条理化，每项任务的执行时间都精确到h级。

c） 针对中国联通评测工作的实际需求，制定前台仪表技术规范和后台软件技术规范，从技术层面上规范前后台软件与硬件，使不同厂家的统计结果在采样点数、采样点值方面实现高度的统一。

图1形象地展示了做好第三方评测工作必须解决的核心问题。

3.1  制定《网络性能评估规程》

为解决人员操作问题，我们制定了《中国联通GSM/WCDMA网络性能评估规程》（下称《网络性能评估规程》），明确了测试内容、测试方法、DT路线、时间选择、DT车辆选择、数据回传与备份等问题。《网络性能评估规程》是评测工作的根本大纲，对评测工作的各个环节都进行了详尽阐述。同时，随着网络的不断发展和评测工作的不断深入，《网络性能评估规程》也处在动态维护过程中，我们分阶段地增添了一些新的测试内容，并改进了一些细节问题。

在DT测试过程中，测试手机摆放方式（直立或平放）、测试设备间距、人员与测试设备的相对位置及车窗是否打开等都会直接影响到无线覆盖方面的评测结果。例如：统计WCDMA的接收信号码功率（RSCP——Received Signal Code Power）指标时，与车辆开窗相比，关窗后RSCP的统计结果将平均恶化2～3 dB；如果测试终端的无线收发模块被测试箱体遮挡，极端情况下RSCP将恶化5～6　dB。因此，《网络性能评估规程》有必要明确此类细节问题。

此外，《网络性能评估规程》还明确了DT路线选择、DT车辆选择及评测时间选择等问题。原因是：如果只选择城市中某些覆盖好的路段或选择在话务量较少的深夜和凌晨时段进行测试，其无线覆盖和事件性统计指标将直接得到改善；由于不同类型车辆的穿透损耗差别较大，因此车辆的选择也会影响到评测结果；若车厢内空间狭小，人员和仪表的间距较近，无线信号的人体损耗也会较大。

为确保统计结果的准确性，后台建立了大量的LOG数据有效性自动判断机制。例如：业务时间间隔设置错误的LOG无效。这是由于如果终端业务状态和间隔时间不是标准值，终端软切换增益等因素肯定会影响到无线覆盖指标。在极端情况下，如果呼叫间隔时间设置太短，甚至会造成网络重选失败；如果将HSDPA错误地锁定在GSM制式下，那么就只能测得GPRS性能。这些都要求前台人员必须严格按照《网络性能评估规程》要求进行仪表操作。

《网络性能评估规程》针对上述问题都做出了详尽、严格要求。例如：DT测试线路必须遍历测试范围内各个方位车辆可通行的道路（包括城区主干道、商业密集区道路、住宅密集区道路、学院密集区道路、机场路、环城路、沿江两岸道路、城区内主要桥梁及隧道等）；DT测试呼叫分布必须均匀，禁止集中在某些区域；测试覆盖的道路必须达到城市可通行里程的90%以上。

在制定了完善的管理制度后，下一步工作就是确保测试人员能坚决贯彻执行。中国联通建立了严格的第三方人员资质认证、人员信息登记管理制度及重大过失惩罚退出机制。第三方技术人员只有通过GSM/WCDMA基础知识考核及仪表技能考核后，方能从事第三方评测工作。

3.2  制定《前台仪表技术规范》

为解决仪表存在的问题，我们制定了《中国联通GSM/WCDMA网络性能评估-前台仪表技术规范》（简称《前台仪表技术规范》）。《前台仪表技术规范》在仪表功能性、稳定性、一键配置、LOG存储格式、数据采集及记录频率等方面都进行了个性化定制，以促使仪表厂家专门面向中国联通第三方巡检开展仪表开发。

经详细调研发现，即使是同一个指标，不同仪表厂家的信令/事件参考点也存在着差异。这种差异性将直接导致不同的指标统计结果。例如：不同仪表厂家对数据业务起始的判断参考点就有所不同，有的是以仪表收到第一个数据包为准，有的则以仪表发出第一个Get命令为准。而统计参考点的不同，将导致不同仪表厂家对数据业务建立时延和数据业务持续时长的统计结果存在较大的差异。

我们在仪表校对过程中还发现，有的仪表厂家为美化DT路测图（如RSCP分布图及Ec/Io分布图等），前台仪表在记录LOG时进行了插值，这就相当于人工进行了升采样，而有的仪表厂家为降低测试设备负荷，设置仪表时对一些指标进行降采样处理，由此造成一些指标在同样时间内，不同仪表的采样点数目相差数倍甚至数十倍。为保证采样数据的准确性，《前台仪表技术规范》明确了每个网络指标的参考点，根据不同的测试设备还明确了采样频率和采样周期。例如，针对某款PS业务中使用的芯片，给出了明确的如表1所示的采样周期。

在规范第三方评测工作仪表操作流程后，已促使仪表厂家推出了一键配置功能。测试人员连接测试终端后，一键操作就可完成呼叫次数、业务时长及空闲间隔等关键参数的配置，从而大大提高了测试效率、降低了误操作风险。

如何保障将测试工作限定在测试区域之内也是一个值得关注的问题。一旦测试工作超出了网络建设规划的覆盖区域，就会造成网络指标恶化，也就失去了网络质量评估的公平性。为防止出现测试越界问题，通过仪表显示GPS轨迹及与MapInfo地图相结合的方法，使得仪表具备了自动越界告警功能，从而有效地规避了该类问题的出现。

3.3  制定《后台分析软件技术规范》

为统一后台软件的指标统计方法，强化后台分析软件的自动判断机制，配合高效的前后台联动工作方式，我们制定了《中国联通GSM/WCDMA网络性能评估-后台分析软件技术规范》（简称《后台分析软件技术规范》）。《后台分析软件技术规范》对指标的计算方式、展现方式及LOG处理功能等进行了规范。

后台数据分析有以下4项重点任务。

a） 提高原始LOG文件的解密效率。

b） 提高LOG有效性的分析效率。

c） 评测区域合理性的筛选。

d） 规范化统计指标的定义。

后台数据处理的第一阶段是LOG数据解密和有效性分析，即将前台回传的数据解密后，根据多项事先设定的规则对数据的有效性（如呼叫时长、呼叫间隔及测试网络设置等）进行组合判断。如果发现LOG数据无效，应立刻通知测试组纠正错误，并要求其进行必要的补测或重测。在第三方评测期间，平均每天有20个城市同时开展测试，每天回传数据量达30 GB左右，后台须在2 h内完成这些数据的有效性判断，并通知前台无效LOG对应的时间段和测试路段。为提高后台对回传LOG有效性的分析效率，《后台分析软件技术规范》制定了详细的判断规则，并通过计算机应用完成对LOG有效性的迅速判断。另外，通过短呼业务的分布情况地理化显示，判断每个城市的呼叫测试是否均匀，是否覆盖了预定区域，如不符合要求的通知前台进行必要的补测或重测。

后台数据处理的第二阶段是测试LOG指标的汇总分析。虽然指标的统计和汇总都已实现了自动化，但依然有必要通过异常结果的检查来发现现场测试工作中的问题。另外，针对所有无线覆盖指标还实现了栅格化评估，即测试区域分成为10 m×10 m的栅格，并把每个栅格里的采样点进行平均。在汇总最后结果时，每个栅格的权重相等，从而避免了采样点过度集中对最后结果的影响。

由于后台数据分析工作要求效率及准确性高，所有数据技术人员必须通力合作，因此后台管理制度中还明确了第三方评测期间每天各项任务的完成时间（见图2）。

3.4  第三方评测过程中的组织管理

为保证数据采集的稳定性，防止评测仪表的版本差异对最终结果的影响，仪表版本的时效性也有明确规定：仪表厂家在评测工作开展前需统一上报软件版本，并组织验证性测试，校对结果无误后，对评测仪表进行封存，在全国第三方评测工作开展前1周，统一下发评测仪表。

每次第三方评测都有上百人在数十个城市里同时展开工作。为保障测试数据的安全性，防止数据被篡改情况的发生，要求仪表厂家开发了LOG数据的实时加密功能。加密文件由中国联通总部统一下发外场，而解密密钥和解密软件则安装在后台服务器上，数据解密过程由专人值守。

由于第三方测试工作的时效性较强，因此统一要求前台测试LOG当天回传到后台服务器。如果缺失数据完整性的校验手段，那么前台测试人员就有可能选择地回传测试LOG，而后台数据分析人员即使发现某个城市的测试量偏少，也不能确定其原因。针对此类问题，创造性地提出了前台仪表LOG数据自动编号排序思路，并将其固化在仪表设备中。后台可针对回传数据迅速地定位每个城市缺少了多少个LOG数据，所对应的测试时长分别是多少。问题严重的，可定位至具体测试人员进行责任认定。

通过上述一系列的组织管理方法，保证了前台测试LOG的完整性、准确性及客观性，为前后台的顺利衔接提供了保障。

3.5  网络设置合理性监察

3.5.1  小区导频功率非正常调整问题

目前，绝大多数室外宏站发射功率为20 W。为平衡覆盖和容量，在话务量较高区域，导频信道的功率一般设置为总功率的10%。个别地区网络为获取较好的覆盖电平评估结果，违规抬升了导频信道发射功率。在城市中心区域，这样的设置不符合WCDMA网络设置原则，对网络容量也会带来负面影响，有必要采取措施为网络建设和优化提供正确导向。后台分析人员对网络中基站发射功率情况进行统计，利用技术手段排除扰码复用情况后，就得到了发射功率的小区情况统计。

3.5.2  基站小区合并问题

个别城市对基站小区进行了合并设置，表现为同一载频的3个扇区采用了同一个扰码。这种设置方法虽然降低了网络优化工作量（如减少需配置的相邻小区数目、降低干扰、减少切换次数等），但也大大降低了系统容量，其负面作用是很明显的。后台采取技术手段将测试遍历的小区情况与网络基础数据进行比照，可得到该问题的核查结果。

鉴于第三方评测的目的是科学地考察网络情况，为后续网建和网优工作提供准确的参考信息，因此采取技术手段屏蔽违规操作是十分必要的，对坚持该项工作的正确导向起到了保驾护航的关键性作用。

3.6  异常事件处理

在评测过程中可能会因发生一些异常事件而影响工作进度，这需要前后台进行相应的调整，但并不是所有突发事件都可等同于异常事件的。例如，由于物业的原因导致一两个基站掉站退服，虽不能定义为异常事件，但评测工作也会受其影响。

为保证评测工作的顺利进行，必须对异常事件给出明确的判断标准和应对方案。异常事件的发生主要有以下2种因素。

a） 不可抗因素。测试过程中发生的不可抗事件主要包括灾害性天气及重大网络故障。这些异常事件往往会导致大面积基站退服，严重地影响网络质量。针对该类问题做出了统一规定：灾害性天气必须以中央气象台发布的、造成重大损失的地震、台风及暴雨等灾害性天气通告为准。灾害发生期间测试暂停，灾害发生前的测试数据有效，灾害期间采集的数据经报相关负责人审批后进行剔除；重大网络故障以总部运维部维护规程的定义为准。测试采取延期或临时调整区域措施，故障恢复后重新进行测试，故障发生前的测试数据有效，故障期间故障区域内的数据经报相关负责人审批后进行剔除。

b） 人为因素。人为因素导致的异常事件主要包括设置错误及测试区域越界等。这些异常事件往往会产生影响评测结果的LOG，经报相关负责人审批后进行剔除。同时，还针对第三方评测公司制定了详细的惩罚措施，以强化测试人员的责任观念，尽量避免出现此类异常事件。

4、结束语

在网络质量第三方评测工作的各个环节，技术、管理等各个层面不断得到完善，以及最小化人为等不利因素，力求完美地保障评测结果的公平、公正和科学性。经过一系列技术与管理环节的创新，第三方评测工作的权威性不断提升，得到了各方认可，已成为移动网络质量监控体系中的重要组成部分。通过第三方评测，也发现了不少现网中存在的共性与特性问题，为网络优化工作思路提供了客观依据，成了不断提升网络质量的强大推动力。

参考文献：

[1]中国联通网络分公司运行维护部网络优化中心. 中国联通GSM/WCDMA网络性能评估规程. 2010年［S/OL］.　［2011-07-10］. http://wenku.baidu.com/view/6d504efec8d376eeaeaa316d.html.

[2]中国联通网络分公司运行维护部网络优化中心. 中国联通GSM/WCDMA网络性能评估-前台仪表技术规范. 2010年［S/OL］.　［2011-07-10］. http://wenku.baidu.com/view/73dccf104431b90d6c85c 7cd.html.

[3]中国联通GSM/WCDMA网络性能评估－后台分析软件技术规范［S］.　中国联通网络分公司运行维护部网络优化中心，2010.