摘 要：本文介绍了构建气象领域标准化技术委员会考核评价指标体系的研究背景，分析了国内标准化技术委员会的评价指标研究现状及存在问题。依据《全国专业标准化技术委员会考核评估办法》，结合气象标委会的日常运行情况和管理工作需要，以提升气象标委会能力和绩效为目的构建了考核评价指标体系，不仅详细地解释评价指标的内涵，同时对其应用提出了建议。
关键词：气象;标准化技术委员会;评价指标
专业标准化技术委员会(以下简称“标委会”)是一定专业领域内从事标准起草和技术审查、研究提出标准体系建议、开展标准宣贯及实施调研等标准化工作的技术组织，国家标准委网站统计数据显示，截至 2018 年 10 月已经成立 1300 个技术组织，含 573 个全国专业标准化技术委员会(TC)，716 个分技术委员会(SC)和 11 个工作组(SWG)。由此可见，它是开展标准化工作的重要组织基础，也是标准化技术工作的重要组织机构。其建设和管理情况、业务工作水平和履职能力直接影响到标准化工作的质量和效果。
1 研究背景
自 2008 年以来，在国家标准委的关心、支持下，中国气象局依托国家级各主要业务服务单位先后组建成立了 7 个 TC、6 个 SC 以及 1 个行业标准化技术委员会(由于其中 3 个 SC 与所属的 TC 的秘书处和挂靠单位不同，因此进行单独考核，共考核 11 个标委会)。随着气象标准化工作的广泛深入开展，气象标准的数量增长迅速，气象标委会也已具备了相当的规模，截至 2018 年 10 月，我国已发布实施的现行气象国家标准 174 项，现行行业标准 431 项。
由图 1 可见，各标委会标准数量存在不均衡性，各标委会发展程度也具有不平衡性。虽然标委会工作基本覆盖了气象行业各个领域，从组织上保证了标准制定工作的开展，对行业技术进步起到了支撑作用，但仍存在很多问题，如标准系统性不尽完善、数量有所不足(重点标准缺失)、质量不高、制修订周期较长、标准应用效果和效益较低等。究其原因，一方面，外部环境，存在领导重视程度不够、社会关注度不高、业内外对标准的需求内生动力不足的问题。另一方面，自身建设，存在着部分从业人员标准化素养不高、工作经验和业务水平不足、积极性不够、队伍变动频繁等问题。这都使得标委会的主体作用难以充分发挥出来 [1]。
国务院《深化标准化工作改革方案》以及《国家标准化体系建设发展规划(2016-2020 年)》，明确要求加强标准化技术委员会管理，《中国气象局关于贯彻落实国务院<深化标准化工作改革方案>的实施意见》也明确提出了要“建立标委会工作绩效评价和通报制度”和“建立标委会委员履职考核制度”等改进标委会管理的工作任务。依据相关文件精神，研究构建科学合理的标委会考核评价指标体系，对标委会的科学管理与控制非常有必要，是从源头抓标准质量、强化标委会规范化管理、提升标委会工作活力和有效性的重要手段，对于加强标委会自身发展，推进国家标准化战略的实施具有重要意义。
2 研究现状及存在问题
2016 年以前，国家标准化主管部门对标委会的评价局限于定性考核其工作结果，仅凭一份工作总结和工作报表对其工作进行形式上的认定，没有对工作完成程度、成效等设定具体的量化指标，使得标委会的目标管理弹性过大，容易产生管理盲区，激励约束机制难以实施 [2]。为解决这个难题，国家标准委一直以来都在积极寻找解决之道， 2016 年 6 月 28 日，国家标准委正式印发《全国专业标准化技术委员会考核评估办法(试行)》(以下简称《办法》)，开始对其批准成立的技术委员会进行以每 3 年为一个评估周期的考核，是对这一难题的破解之始。然而，由于标委会的设置涉及方方面面的专业领域，各行业领域又具有复杂性、多样性的特点，作为所有专业领域通用评价指标，显然是不理想的，缺乏针对性和可操作性。3 年的考核周期，在管理的时效性和实用性方面也略有欠缺。
其他相关领域在 2016 年以前，大部分技术委员会也基本没有相关的工作绩效评价标准和评价体系。经文献调研仅电工 [3]、石油工业、交通运输等行业以及部分地方标委会曾开展过考评工作 [4]，并形成有部分指标。
本文构建的评价指标体系充分吸收各领域研究经验和成果，从气象领域自身特点和实际情况出发，结合行业管理经验，在已有研究和实践的基础上，进一步细化提炼，形成一套具有气象行业独特性、针对性和可操作性的指标体系，与国标委考核评估指标又具有一定的吻合性，能够覆盖并满足国标委考核评估的要求。
3 指标设计
3.1 设计原则
指标的设计主要遵循的原则是：全面性、适用性、科学性、实用性。
在全面性方面，围绕《全国专业标准化技术委员会管理规定》及《气象标准化管理规定》(以下简称两个《规定》)中对标委会工作职责的要求，吸收融合《办法》中的评价指标，广泛借鉴其他行业标委会评估的指标及评估经验，对标委会标准化工作的全流程进行整体覆盖，经过逐条梳理，将可以设计为指标的内容进行提炼。将适用的评价指标和评价方法进行引进和集成、研究和筛选。
在适用性方面，分析各标委会发展运行现状和存在问题，从气象标委会自身特点和实际情况出发，在指标设计和赋分时充分考虑到现阶段气象标委会的工作实际，结合管理部门的管理经验和行业需求，多次反复征询管理部门、职能部门、各标委会秘书处、权威专家的意见，对指标进行修正和调整。
在科学性方面，对指标进行合理的分层，科学的分类。在设定定性指标时，先将定性指标进一步细化为多个考核维度，每一个维度尽量用数据和事实来具体明确，尽量规避定性指标非量化的特点所带来的笼统和模糊，使指标能够比较精确地进行考核。而定量指标的设定，主要依靠时间量化、数量量化等的方式，对于复杂的综合性指标，建立评价数学模型。研究分析指标的重要程度，对其赋予不同的权重。通过试评估等手段，对指标进行验证。
在实用性方面，指标的设计结合气象标委会的日常运行情况和管理工作需要，以提升能力和绩效为目的对标委会实施年度评估、对比和通报，同时注重指标体系与国家标准委考核评估要求的对接，确保各标委会既能够履行好日常工作职责，又能够顺利通过国家标准委组织的考核评估。
3.2 指标体系
指标体系由 5 个一级指标，17 个二级指标构建而成，一级指标包括标准制修订、日常管理、国际标准化、标准化研究与奖励和工作量，见图 2。
标准制修订主要反映气象领域标委会在组织标准体系建设以及标准制修订中的能力、水平和成效，包括 6 个二级指标，分别为：项目完成率，标准体系建设和维护，项目申报，制修订过程及时，公开与透明度，报批稿质量，复审与实施。
日常管理主要反映标委会秘书处在日常运行管理中的保障服务能力，以及管理的规范性和有效性，包括 5 个二级指标，分别为：年会及年报，委员管理与培训，标准宣贯，经费管理，秘书处承担单位支持。
国际标准化主要反映标委会或其委员在组织参与国际标准化方面的工作情况，包括 2 个二级指标，分别为：参与国际标准化，国际标准化成效。
标准化研究与奖励主要反映标委会在组织开展归口专业领域标准化研究以及所取得成效的工作情况，包括 3 个二级指标，分别为：标准化研究活动，标准化研究成果，标准化奖励与表彰。
工作量主要反映本年度各标委会组织开展标准制修订的工作量情况，用以弥补工作量大小不一的标委会在综合评估时可能存在的不合理差异。只设 1 个二级指标，为标准制修订工作量。
3.3 指标类型及指标赋分方法
从不同角度可以将指标进行多种形式的分类：
(1)基本指标和加分指标，即标委会必须履行的职责和鼓励其开展的工作。其中，基本指标主要衡量标委会的履职情况，包括标准制修订、日常管理、国际标准化 3 个一级指标和项目完成率等 13 个二级指标。加分指标主要衡量标委会工作取得突破性进展的情况，包括标准化研究与奖励、标准制修订工作量 2 个一级指标和奖励表彰等 4 个二级指标。
(2)关键性指标和一般性指标。关键性指标是标委会工作中最需要突出、注意和强调的地方，又称为约束性指标，赋有较高的分值，具有一定的约束作用。包括项目完成率、年会及年报 2 个二级指标。
(3)定量和定性指标。定量指标用于考核可量化的工作，侧重于考核工作结果，采取时间量化、数量量化的方式，并对于复杂的综合性指标建立数学模型;定性指标用于考核不可量化的工作，侧重于考核工作过程，为尽量规避其模糊性，对定性指标的描述采用了等级描述法和关键事件法，即对工作完成情况进行分级界定，对相应工作中关键事件制定相应的减分或加分标准 [2]。定量指标主要包括项目完成率、项目申报、制修订过程及时、公开和透明度、复审、年会等，其中项目完成率和复审率给出了计算数学模型。
指标体系实行评分制，目的是使考评结果更为直观，有利于标委会之间的对比。评分方法主要采用要素评分法，即根据标委会在工作中履行职责的难易及复杂程度，按其内涵区分为不同要素，根据不同要素的重要程度赋予权重。
基本分值为 100 分，包括标准制修订、日常管理、国际标准化，各占 59%、35%、6% 的权重。其中，在标准制修订的 6 个二级指标中，关键性指标(项目完成率)权重占 34%。在日常管理的 5 个二级指标中，关键性指标(年会及年报)权重占 37%。可见关键性指标具有相对较高的权重分值，对整体分值影响较大，能够突出标委会工作重点。
加分分值为 10 分，包括标准化研究与奖励、工作量，各占 50% 的权重。其中，工作量采用了硬性分配法，即将标委会根据工作量大小进行排序按近似正态分布的规律给予对应的分值。
3.4 指标内容
3.4.1 标准制修订
标准制修订工作包括：预研究、立项、起草标准草案、征求意见、审查、批准、出版、复审等环节。在这些环节中，制修订计划项目建议，制修订工作组织，负责所归口领域气象标准的技术内容和质量;负责复审本专业领域国家标准和行业标准;建立和管理本专业领域立项、起草、征求意见、审查、报批等相关工作档案，是两个《规定》中要求的气象标委会应承担的职责。除此之外，研究提出本专业领域的标准化发展规划、标准体系，承担已发布标准实施情况的调查、评估工作作为标委会职责的一部分，也和制修订的相关环节密不可分。标委会作为串联各环节的关键作用举足轻重。因此，在分析了气象标委会职责和工作现状的基础上，结合《办法》进行设计，下设 6 个二级指标：
(1)项目完成率，旨在有效保证标准制修订进度，反映技术委员会时间统筹能力和工作水平，是从结果方面考核标委会是否履行组织本专业领域国家标准和行业标准的制修订工作职能的指标。为增加可比性，促进标委会对指标的理解和使用，计算方法与《办法》中保持一致，考核的是前 3 个自然年的标准项目的完成率情况。在进行等级划分时，对 11 个标委会 2011—2013 年立项的标准完成率进行了试算，其中 5 个标委会项目完成率在 60% 以下，处于较低水平，经过多次研讨和整体分值协调、统筹，依据目前气象标委会标准项目完成率的现状，设置了 30% 以下、30%~67%、67%~75%、75%~85%、85% 及以上五个完成率档次，分别赋分，以达到既区分反映实际情况，又有效促进标委会不断改进提高项目完成率的目的。
(2)标准体系建设和维护，旨在反映标委会在本专业领域内把握标准化宏观发展方向的情况。考核的是本年度标准体系的变动情况。标准体系包括标准体系框图和标准明细表。标委会应掌握和及时维护各领域的标准体系，及时组织本领域专家对标准体系及其表变动情况进行审查，以使其正确反映领域的技术发展成果，为未来本领域标准的立项和制修订提供指引。
(3)项目申报，旨在反映技术委员会在指导本专业领域内标准制定方面所发挥作用的情况。同项目完成率一样，考核的是前 3 个自然年标委会组织标准申报和立项的工作情况。考核分两个方面：①申请立项的国家标准项目委员平均投票率，即所有申请立项的国家标准项目委员投票率的平均值。②标准立项数，又分为两部分：其一，国家标准立项数，即包括国家标准修订项目在内的所有的国家标准计划项目;其二，标准立项总数，即包括国家标准、行业标准及其修订项目在内的所有的标准计划项目数。该数量的设定是依据历年气象标准立项数测算而得的，由于气象领域标委会是按照 11 个标委会独立考核评估的，因此在对立项数的要求上也有所区分：对雷电 TC，只考虑行业标准及其修订项目;对 SC，在国标立项数上比 TC 要求略做降低;对于 TC，自身即要达到国标委对该指标的要求，从而引导各标委会均要重视对国标的申请工作，充分发挥标委会的指导作用。
(4)制修订过程及时、公开和透明度，旨在促进标准的及时流转，提高技术委员会工作效率并保证标准制修订过程的公开与透明，是从过程方面考核标委会是否正确履职的指标，主要通过征求意见和标准审查两个环节来反映。根据《气象标准制修订管理细则》的要求，征求意见方面，考核标委会是否向有关行业部门、协会以及相关生产、销售、科研、检测和用户等单位定向征求意见，并向全体委员及社会公开征求意见，是否在收到标准征求意见材料 15 个工作日内及时出具征求意见函。标准审查方面，考核标委会是否将标准送审稿送达全体委员，委员投票率是否达到要求的比例，是否在收到标准送审材料后 5 个月内完成标准审查。
(5)报批稿质量，旨在有效控制标准质量，直接反映技术委员会工作效果。按照《气象标准复核通过基本要求》，对标委会的报批材料提出了材料齐全、格式规范、内容合理、专家意见处理合理、积极配合复核工作等 5 项要求，由气象标准化技术服务单位根据本年度接收的标委会提交的报批材料进行分项打分。
(6)复审与实施，旨在保证标准的适用性和先进性，及时剔除和修订滞后标准，反映了标委会对本专业领域的标准实施情况的掌握程度和及时处理能力，促进标委会在标准执行过程中的问题的调研分析中发挥重要作用。根据《中华人民共和国标准化法》的规定，标准的复审周期一般不超过 5 年，因此，复审指标考核标委会对考核年度标龄为 5 年标准的复审率和复审报告。实施情况跟踪与分析指标，考核标委会是否能够收集标准实施反馈信息并及时向主管部门通报有关情况或提出处理意见;是否对重点标准开展实施情况的分析研究，并形成分析报告等书面材料。
3.4.2 日常管理
标委会秘书处是标委会的常设工作机构，是标委会开展工作的核心。下设 5 个二级指标：
(1)年会及年报，年会是标委会召开的全体会议。根据《规定》标委会应每年至少召开 1 次全体委员会工作会议。为保证年会质量，要求标委会出席年会的委员超过一定的比例，并形成和保存组织召开年会的通知、会议纪要、委员签到表、年会照片等记录。年报方面，要求标委会按照国家标准委和气象标准化管理部门的要求按时提交年报。年报内容详实，符合要求，且数据真实有效，无修改记录。
(2)委员管理与培训，在委员管理方面要求标委会委员构成符合《规定》要求，并规范开展标委会换届工作。要求标委会对委员履职情况，主要包括参加立项投票、就标准征求意见进行反馈、出席年会和审查会等情况进行跟踪和形成记录，当委员出现不适合继续担任委员或不履行委员职责等情况时及时进行委员的调整。委员培训方面，为提高履职能力，要求标委会副秘书长、委员和秘书处工作人员每年参加由标准化专业机构或行业部门组织的标准化方面的培训不少于 1 人 / 次。
(3)标准宣贯，是指由标委会组织或参与组织的标准宣贯，也包括标委会有关人员在行业协会年会、产业联盟大会上所做的标准宣贯，包括网络形式、会议形式等。要求标委会在考核年度内组织过标准宣贯活动，对重点标准开展专题宣贯活动的作为加分项。
(4)经费管理，标委会秘书处挂靠单位的经费支持和健全的财务制度是标委会健康运行的保障。按照《规定》经费管理的相关要求，指标考核标委会的工作经费是否纳入挂靠的秘书处承担单位财务统一管理，秘书处是否按照要求向全体委员报告经费收支总体情况，国家标准制修订补助经费是否符合《国家标准制修订经费管理办法》，工作经费是否单独核算、专款专用等。
(5)秘书处承担单位支持，由于标委会不具有独立的法人资格，其挂靠的秘书处承担单位对标准化工作开展的重视程度，提供的人力、物力支持成为支撑标委会健康运行的关键因素。秘书处承担单位支持方面，按照《规定》，指标考核秘书处工作是否纳入承担单位年度工作计划并能按照工作计划实施考核。人员支持方面，指标考核秘书处是否配备能履行好工作职责的专门秘书或专职秘书。经费支持方面，指标考核秘书处承担单位是否为标委会提供标准化活动经费支持及支持的力度。
推荐阅读：气象工程师需要发表什么文章
3.4.3 国际标准化
下设 2 个二级指标：
(1)参与国际标准化，反映参与国际标准化活动的活跃度及工作情况，要求标委会或其委员积极参与下列 2 项或以上国际标准化的工作：①参与制修订国际标准;②积极提交国际标准提案;③按时参与国际标准投票;④按时参与国际对口标准化技术委员会年会;⑤积极开展国家标准外文版翻译;⑥积极参与发达国家或地区(如 CEN)对口标准化工作;⑦组织开展本领域标准化国际会议;⑧国际标准的跟踪评估及转化。
(2)国际标准化成效，反映在国际标准化工作中影响力以及取得的重要进展情况，要求标委会或其委员积极取得下列 1 项或以上国际标准化成效：①担任国际或国外标准化组织领导职务;②承担国际或国外标准化组织秘书处;③获得 ISO 或 IEC 奖励;④提交新工作领域申请并获得国际组织批准;⑤主导制定的国际标准发布。
3.4.4 标准化研究及奖励
下设 3 个二级指标：
(1)标准化研究活动，反映开展标准化研究的活跃度，要求标委会或其委员积极开展：①承担标准化研究项目(以司局级单位下达的任务书为准);②组织国内标准化学术交流、研讨等活动;
(2)标准化研究成果，反映标准化工作的研究能力，要求标委会或其委员积极取得以下任意 1 项研究成果：① 发表(出版)标准化相关论文或论著;②撰写了标准化技术报告或调研报告。
(3)标准化奖励表彰，反映标准化工作的科研成效及亮点，指标委会或其委员获得省部级或国家级(含获国际奖励、表彰)标准化方面的奖励、表彰。
3.4.5 工作量
各标委会工作量以本年度组织开展标准征求意见和审查活动的数量之和计算。根据计算结果对标委会进行排名，按排名结果给予对应分值。
