引言
作為產品設計者，經常遇到一個備受靈魂拷問的問題：怎麼衡量我們設計的產品，用戶體驗是過關的？
今年，我們在內部中後台產品進行嘗試，發現「易用度」可以作為合適的度量指標，並成功推廣到35 個產品，幫助PD、設計師、工程師等產品設計者去衡量產品體驗現狀，發現改進機會點。實踐證明，易用度，相比滿意度、尖叫度、NPS，更適合技術類產品的體驗度量。結合用戶行為數據，可以為用戶畫像、改進方向、運營策略提供更準確的決策依據。
一、中後台體驗度量現狀
在公司內部，技術類產品種類繁多，有很大一部分是開發、運維人員使用的中後台產品，且以從0-1 階段為主。由於這部分同學本身工作複雜度高，又必須依賴內部產品來完成，所以長期以來“簡單易用”成為大家追求的產品體驗標準，他們也把“如絲般順滑”作為終極目標。但現實情況是，上手門檻高是使用技術類產品最大的痛點。
對於前台業務的設計者，經常會使用「人+錢」，也就是「流量+付費」來衡量產品效果。通過成功率、轉化率等指標，可以快速看到用戶行為上的反饋，來指引後續優化。但對於技術類產品，尤其是強流程、工具型產品，很難找到一套契合業務特點的度量方式。理論上，使用「成本+效率」是比較合適的衡量維度，實際操作下來，找到設計和產品效果之間的因果關係，並非易事。
我們做了一個內部調查，發現產品設計者經常容易遇到這些問題：
-
體驗度量是一個繞不開的話題。天貓、阿里雲、華為、京東都有嘗試提出解決方案，但沒有統一的衡量維度。
-
設計方案與產品的市場反饋，需要一個可以解釋關聯關係的抓手，這對迭代方向的指引至關重要。
-
產品團隊逐漸重視用戶用戶，但缺乏有說服力的指標。
業界在體驗度量上的方案，大致分為3 個派別：
-
客觀衡量法：通過數據埋點監測用戶行為數據。例如經典的PULSE 模型，還有大家熟悉的運營指標，活躍用戶數、留存率、ARPU、LTV等等。這對於還未商業化、用戶基數少的產品不適用。
-
主觀衡量法：收集用戶主觀打分。經典的滿意度、尖叫度、NPS，可用性測試量表（如SUS），美國客戶滿意度指數ACSI。
-
主觀+客觀衡量法：把用戶行為數據和主觀打分結合起來，多數用歸一化方式得出一個總分，把分數劃分成不同檔次作參考。 Google 經典的HEART 模型，內部的PTECH 模型，阿里雲QoUE 模型，華為雲的用戶體驗模型。
在掌握了這些信息之後，我們在內部的技術類產品上，進行了一輪新的探索。經過半年時間的試點，結合業界的解決方案、內部產品的業務特性，我們最終選擇主觀衡量法，並使用「易用度」這個衡量指標。
二、易用度指標
易用度，英文Customer Effort Score ，簡稱「易用度」，也有譯成「費力度」，指的是用戶使用某個產品/服務來解決問題的難易程度。目的是消除或減少用戶使用產品過程中的障礙。
該定義來自2010年《哈佛商業評論》發表的文章——《Stop Trying to Delight Your Customers》。 2013年，Gartner 子公司CEB 發布 易用度2.0版本 的測量方法，定義為“解決問題的難易程度”（make it easy to handle my issue）。
它的源頭可以追溯到美國用戶研究專家Jeff Sauro(2009)提出的單項難易度問卷（Single Ease Question，SEQ），在可用性測試之後，用戶需要對一個問題進行打分，問法是“整體上，這個任務是非常困難-非常容易（7分制）”。
為什麼說「易用度」更適合技術類的產品？主要基於技術類產品的三大特點。
衡量維度
總體指標
易用度：使用**產品完成**工作的容易程度。
影響因素
-
主要因素：產品及設計給用戶操作帶來的複雜度，我們稱之為「基礎體驗」，包括幫助引導、功能入口、概念術語、任務流程、操作反饋。
-
次要因素：用戶特徵對使用易用度的調節作用，也稱之為「調節因素」。不同特點的用戶，會影響易用度分數，包括操作熟練度、先驗知識、行為習慣。
量表開發
大家肯定要問，這些影響因素是怎麼確定的，如何證明它們的合理性？這就要提到量表開發方法，基本上可以分為幾個步驟：
step1.理論借鑒
從相關領域查找經典量表，站在巨人的肩膀上，經過實踐檢驗的量表更可靠。我們首先從15種國際可用性測試量表中藉鑑，抽出了一些關鍵的衡量維度。另外，易用度創始人Matt Dixon（2014）在《the effortless effort》書中，總結了在客戶服務場景，費力的關鍵因素：
-
信息分類不恰當，反复描述問題（82%）
-
需要多次求助（62%）
-
幫助指引不清晰(59%)
-
找不到相關入口，頻繁切換溝通渠道（59%）
step2.實踐總結
我們盤點發現，技術類產品，絕大部分屬於工具型產品，強調任務流程，也是用戶痛點集中的地方。匯總多條業務線近1年的調研結果。除了功能、性能問題外，根據對完成任務的阻礙程度，無論是0-1階段，還是1-N階段，高頻體驗問題分佈都集中在5個維度：
-
幫助引導
-
操作反饋
-
任務流程
-
概念術語
-
功能入口
step3.數據分析
通過整理歸納的影響因素，需要經過信效度驗證，才能有說服力。簡單來說，信度就是“可信與否”，指的是結果的一致性、穩定性及可靠性；效度就是“命中與否”，指的是結果反映所想要考察內容的程度。通過統計學的探索性因子分析，驗證性因子分析，我們確定5 個維度可以有效測量易用度分數的變化。詳細可查閱《如何找到影響用戶體驗的關鍵因素？ 》 。
與滿意度、尖叫度、NPS的區別
從易用度-滿意度-尖叫度-NPS，是一個用戶預期的漸進變化。從中可以看出，易用度更關注的是基礎體驗，也就是“簡單好用”。
為什麼易用度相比其他指標更適合技術類產品呢？主要有3 個原因：
1.內部試點發現，滿意度無法準確衡量技術類產品體驗
-
滿意度不能很好衡量真實體驗，分數虛高。我們在一些產品上，同時使用「易用度」和「滿意度」作為總體指標，發現43% 的用戶滿意度評分，高於易用度評分，可以理解為“產品我滿意但不好用” 。此外，易用度分數與滿意度分數相關性高達0.77，具備很高的可替代性。
-
易用度更接近用戶真實體驗。對任務難易程度作出評價，用戶在判斷時會更直接，考慮使用過程中付出的腦力、時間等成本。對滿意度作出評價，除了考慮產品本身的易用性，內部用戶還會考慮其他主觀因素，例如：
-
合作關係：你是研發，我是用戶，擔心給你滿意度打低分了，之後就不滿足我的需求了。
-
中庸傾向：滿意度調查，已經是人盡皆知的評分，國人都傾向於打中上。
-
評價範圍：易用度問的是完成工作的容易程度，範圍更小，用戶評價的時候更聚焦。滿意度問的是整體是否滿意，範圍更大，用戶會綜合考慮很多因素，例如上面提到的服務支持、上下游協作、需求響應等等。
2.行業實踐表明，易用度比NPS更能預測用戶留存和成本變化
-
易用度更能預測用戶留存。 《哈佛商業評論》（2010年）發表易用度時，調研7500多名用戶，數據顯示易用度低的客戶，94％的有復購意願，88％表示會增加支出，僅1％表示會對公司持負面態度。 Garter（2013）發布報告，基於49000多名用戶數據發現，易用度分值從1分提升到5分，可以使用戶忠誠度提高22%。 Oracle（2015）發布服務雲易用度白皮書發現，當用戶表示使用產品付出了更少的努力，忠誠度提高18%。相反，從滿足用戶預期到超出用戶預期，用戶忠誠度的變化並不明顯。
-
易用度更能預測成本變化。 Gartner（2019）對100+公司、12.5w用戶的調研發現，易用度從高分到低分，可以降低37%的成本。
3.行業實踐表明，尖叫度更適合成熟度較高的產品類型
-
目前在市場上，至少在國內，ToB 產品沒有達到飽和，定位也各有不同。在企業用戶心中，並沒有足夠清晰的心智和經驗去判斷。例如企業微信和釘釘，基本上很少有用戶會同時使用這兩個產品，那用戶就無法準確評價二者的好壞。
-
更關鍵的是，很多ToB 產品，用戶多數是被動接受使用的，極少有選擇餘地。普遍的高技術門檻，也把他們嘗試的意願和可能性大打折扣。
優劣對比
對比滿意度、尖叫度、NPS指標，易用度的優勢在於：
-
關注用戶完成任務過程中的阻礙，重視基礎體驗；
-
適合去度量特定的用戶接觸點和任務流程，以便了解用戶解決問題的難易程度。
劣勢在於：
-
對於分數過高或過低的情況，沒有通用的基線，需要區分行業、產品類型、產品複雜度來衡量分數是否合格；
-
側重基本體驗，無法衡量用戶的總體滿意度。
三、易用度基線
經過半年的實踐，我們採集了35 個技術類產品的易用度，根據產品類型、產品階段來區分。結合內部試點和行業調研，我們把技術類產品的易用基線，設定為5.5 分。主要發現：
-
產品類型越複雜，易用度越低。試點產品中，ToC 產品易用度均值5.46，ToB 產品易用度均值5.32，ToD 產品易用度均值5.07。
-
產品階段越早期，易用度越低。試點產品中，0-1 階段的產品易用度均值5.09，1-N 階段的產品易用度均值5.28。
內部實踐
如圖所示，易用度有很好的區分度，不同產品類型的不同產品階段分數呈現出差異性，我們可以根據這個數據，去評估自己的產品所在位置。
為什麼總體上選擇5.5分作為“易用”標準？
我們在這35 個產品上進行易用度的嘗試，最終收集了4000+ 問卷數據，得出了技術類產品的體驗基線：
-
總體均值5.07 分，中位數5 分。具體分佈如圖所示，認為“比較容易”（5-7分）的用戶佔69%。
-
但由於內部的技術類產品，大多處於0-1階段，以現在的狀態作為“易用”基線，顯然不合理。
業界標準
因此，我們需要結合業界的實踐作為參考。我們收集到2 家用戶研究領域的老牌公司Nicereply 和HotJar 的數據。 Nicereply 是一家諮詢公司，它服務的對象既包括C 端用戶，也包括B 端用戶。 HotJar 是一家專做用戶行為監控的公司，它服務的對象主要是C 端用戶。因此，我們傾向於採納Nicereply 發布的基線5.5 分，作為參考。
-
Nicereply 公司在2018 年發布的易用度benchmark，基線為5.5 分。
-
HotJar 公司在2019 年發布的易用度benchmark，基線為6.09 分。
分析思路
很多設計者會想，不就是一個問卷嘛，能發揮多大的作用？實際上，當問卷數據+用戶行為數據，它將發揮更大的價值。
-
現狀描述：對產品當前的功能、體驗、性能的在用戶心中的水位進行摸底，通過數據和主觀反饋找到原因。
-
對比差異：技術型產品往往有多個角色共同使用，並且有上下游協作關係，可以通過問捲和數據發現不同角色的偏好，找出差異化的改進方向。
-
影響關係：當發現某些模塊用戶評價低時，需要下鑽找到最相關的影響因素，這時需要用到相關分析，找到此消彼長或相輔相成的變化關係，以及用到回歸分析，找到可能的因果關係。
-
聚類分析：結合問卷數據和用戶行為數據，我們可以對典型用戶進行分層，也就是我們通常說的“用戶畫像”，可以結合經典的RFM 模型，找到高頻、忠誠、高付費且評價好的用戶。
現狀描述
以某個技術類產品A 為例，通過現狀描述，可以發現低分人群抱怨的問題集中在哪裡，提出問題優先級排序。
對比差異
通過對比差異，把用戶根據人口學、行為特徵進行單維分類，與易用度分數做交叉分析，找出人群之間的差異，有針對性改進。
影響關係
通過影響關係分析，可以找到影響產品A 易用度分數的主要原因，也就是用戶為什麼覺得好用/不好用。
聚類分析
通過聚類分析，結合問卷數據和用戶行為數據，可以發現典型人群，制定差異化的運營策略。
現象與洞察
在35 個技術類產品上的實踐，我們發現了一些常見現象和經驗性的洞察，它並非都是普適的，卻有很高的參考價值。
結論
基於內部技術類產品的體驗度量實踐，我們得出以下結論：
-
實踐證明，易用度指標衡量技術類產品更有效。技術類產品降本增效的商業目的、降低技術門檻的用戶訴求、流程複雜上手難的痛點，決定了體驗度量要關注基礎體驗。滿意度、尖叫度、NPS去衡量都不太準確。
-
易用度的衡量維度，包括5 個部分的基礎體驗。即幫助引導、功能入口、概念術語、任務流程、操作反饋。
-
結合內部試點和行業調研，我們把技術類產品的易用基線，設定為5.5 分。當前內部技術類產品的易用度基線是5.07分，行業技術類產品的易用度基線是5.5 分，產品類型（ToC/ToB/ToD）、產品階段（0-1階段，1-N階段）也會有所差異。
-
結合行為數據，易用度可以進行描述、分類。使用現狀描述找出低分人群的高頻問題，使用對比差異找到多角色的不同訴求，分析影響關係找到影響易用度的主要因素，結合用戶行為數據進行聚類找到典型人群。
其他實操問題，歡迎閱讀更多文章：
