菲利普斯是投资回报率方法模型(ROI Methodology)的创始人,是世界公认的问责制、测量和评估专家。
针对领导力培养项目的投资与回报课题,他已出版100多本书籍,发表300多篇文章,并且多次获奖,例如美国培训与发展协会(ASTD)所授予的最高“职场学习与发展杰出贡献奖”、国际绩效改进协会(ISPI)的“托马斯F·吉尔伯特杰出专业成就奖”。
他曾任美国密苏里大学圣路易斯分校市场营销副教授和国际绩效改进协会的董事会成员,目前以美国ROI研究所董事会主席的身份为《财富》500强企业提供该方面的咨询服务,也经常在世界各地举办的研讨会和会议上进行演讲。
培训评估是对培训项目的效果进行评价和分析的系统过程。如何使用科学合理的方法对培训投资汇报进行评估,是企业普遍关心的问题。我们知道,计算出购买一栋楼与引进一项领导力培养项目的投资与回报是两种截然不同的概念,这也是菲利普斯潜心钻研近三十余年的课题。他的投资回报率方法模型(ROI Methodology)是迄今为止最为全面的培训投资回报评估方法。
投资回报率作为一种评估项目效益的方法,于19世纪初开始在美国盛行。这个概念来自财务与会计领域,原先被用于衡量资本投资(例如设施设备、交通工具和技术等)给企业带来的价值。然而当下,资本投资只占据企业总支出的15%以内,组织领导者反而开始关注非资本投资(例如市场营销、人力资源管理和各种员工辅助项目等)所产生的影响。因此,如今最常见的现象是,职能部门的预算都必须由首席财务官(CFO)审批,甚至有些部门还完全隶属于财务部。最终目的是整个企业落实投资回报率的方法论,通过“让我看到利润”的理念来分析一个项目的资金流向。
ROI是一个财务术语,而企业的管理层与CFO最终关注的是成本底线,所以简单而言,ROI指落实一个项目的财务值回报。为了这一目的,我们需要从当下仅仅基于活动的做法(activity-based)转移为基于结果的做法(results-based)。
所有落实的项目都必须为企业带来能够以财务值衡量的利润,并且通过以下公式计算出项目利润与项目成本的比值(投资回报率):
确定要在哪一个项目落实ROI评估之后,菲利普斯提出可以根据以下流程来进行整个项目的实施。
菲利普斯在投资回报率方法模型中指出,首先需要制定评估计划,包括第1到5层级的目标以及7种数据的收集计划。很多数据都有时效性,因此我们需要从一开始就得到关键管理人员的认可与支持,在进行需求分析时,与他们对齐项目与业务目标,并且确认所需衡量的业务数据,数据统计方式以及收集数据的时间段和责任人。
第1层级目标在正式学习的结尾,我们可以通过问卷来评估第一层级的目标。例如,参与者一般将对项目体验、内容关联性、收益等给予至少4分(5分制)。
第2层级目标学习与发展专业人士应该非常熟悉如何去制定第二层级的目标,也就是我们常见的基于布鲁姆教学目标分类与ABCD(对象、行为、条件、标准)法则的学习目标。
第3层级目标此层级包含三种类别的信息——行为、环境以及效率。例如,参与者将在新生产标准作业程式实施90天后(环境)按照更新的步骤完成作业(行为),并且达到生产率提升15%的目标(效率)。
第4层级目标第四层级的目标需要量化,分为硬性与软性两种数据。前者围绕关于生产率、成本、质量、效率的指标。例如,一线员工的加班小时数将在新方案实施的一个月后降低30%。后者则一般会覆盖牵涉到员工的无形要素。例如,员工对上级暴力管理的投诉率将在今年第三季度从平均每月三个减少到一个。
第5层级目标我们可以使用以下4种方式来确定所要达成的投资回报率。第一,设定与其他资本投资一致的目标(12~20%);第二,设定比其他资本投资更高的目标(20%);第三,设定在盈亏平衡点(0%,适用于非营利组织、政府部门、教育机构等);第四,设定符合客户要求的目标。
大家肯定已经意识到,若要完全转变为基于结果的处事范式,企业需要消耗大量的人力进行数据统计及分析,菲利普斯也认识到投资回报率方法模型不适用于所有的项目。作为一个指南,他的研究显示,企业一般会选择项目费用高,对完成战略目标的重要性高,以及领导层重视度高的项目来进行ROI评估。
除了项目开始时所要统计的投入数据之外,在收集数据环节,菲利普斯建议,还需要在两个时间段根据评估目标环节所制定的目标收集对应数据。
第一个时间段是指正式学习结束后,需收集反应数据和学习数据;非正式学习结束后则是第二个收集对应数据的时间段,主要针对实施数据和效果数据。期间,可以选择对应的数据收集方式。
其中,第3层级一般是一个培训项目成败的关键点。因此,我们需要重点收集该层级的数据,深入了解参与者进行实践会遇到的障碍。第4层级的数据收集则需要注意时机,我们需要事先与管理人员确认,参与者在正式学习结束后所需要产出绩效的时间。
这四个层次的数据形成了一个环环相扣的“效果链”,也就是说任何一个层级的链条断了,就意味着后续的层级都会变成伪命题。例如,参与者从一开始就觉得学习内容与岗位需求无关(第1层级),那么他们是否能够掌握学习内容(第2层级)并且有机会学以致用(第3层级),就会变得无关紧要。
分析数据时,可以先按照既定的维度计算出该培训项目的成本。然而,这个环节的重点是如何解析(isolate)该项目的业务效果,并基于所统计的数据进行投资回报率的计算。
其一,为了在项目结束后和参与者所在部门公平分配利益。例如,如果一项销售培训成功提高了销售部的业绩,这就意味着培训部应该拿到销售部所有的年终奖金吗?销售部肯定不同意,因此培训部需要有一个科学的方式来呈现自己所做出的贡献。
菲利普斯将对照组和趋势线分析这两种方法用于解析项目的业务效果。使用对比实验法时,我们需要找到两组匹配的人群,并且在实验组身上实施该项目。在项目结束后,从实验组的指标中减掉对照组同一个节点的数值,即可解析出其项目的业务效果。
例如,假设我们给实验组开展了销售培训,项目结束后他们的销售额比对照组高出5千元,我们就可以推断这个数额是这个项目所产生的业务效果。针对对比实验法,培训部经常会遇到的阻碍是管理人员不认可让某一特定群体不接受培训,然而一项大规模的培训往往会分成不同阶段的输出,因此,只要能够在后期找到一个可匹配的人群,我们就可以把前者当成实验组,后者当成对照组。
使用趋势线分析法时,我们则需要针对所需衡量的指标,在项目结束后基于趋势线预测出一个可以合理进行数据收集的节点,用趋势线的数值减掉实际的数值,即可解析出该项目的业务效果。例如,在防止诈欺项目案例中,项目实施六个月后,趋势线%,意味着这个项目所产生的业务效果为7.5%。
k8凯发官网
此外,前文中大家能够发现第4层级的效果数据和相应的业务效果解析可以通过问卷调查来收集。这是因为在落实投资回报率方法模型时,我们需要切记一个原则——评估的费用不能超出项目的成本。因此,我们在考虑如何收集数据时,要在成本与准确性和可靠性(accuracy and reliability)之间找到一个平衡点。如果上述业务效果解析方法都非常不切实际的话,我们还可以通过问卷调查、访谈和焦点小组的方式,要求对方给出两项信息。
其二,他们对这个估计的信心百分比。例如,如果我们询问参与者此次销售培训项目对提高销售额的影响,对方的回答是60%的影响和80%的信心度,那么我们将这两个数据相乘,即可得到业务效果为48%。
在完成项目成本与利润的统计之后,我们可以使用上述公式计算出该项目的投资回报率,之后再加上其它无法转化成财务值的无形价值作为辅助。
在使效果最大化的环节中,菲利普斯认为需要给企业的高管甚至所有成员汇报此次项目成果。这个动作的目的是通过呈现该项目的价值来证明相关开支的合理性,并且争取到领导层对未来项目实施的支持。此处我将提供一些报告内容以及信息宣传的方法。
我曾经听说有一位同行在项目开展后突然收到上级的指示,要求他计算出培训的ROI。回报率方法模型是一个需要从长计议、以终为始的方法论。但更重要的是,它需要培训部门与业务部门建立一个互相信任的关系。如果培训部以往开展的课程都只是基于活动的做法,并且已经让所有参训者感到厌恶,那么培训部的首要动作应该是,先提升教学系统设计的专业度,确保需求评估和学习迁移的有效性,再考虑落实诸如ROI的方法论。