摘要：

目的：研究基于移动智能设备的互联网产品设计的评估和迭代方法。

方法：通过作者亲历不同类型的互联网公司的实际工作，分析和总结以小米互联网开发模式为代表的产品设计迭代。

关键因素：测试环境与使用场景的关系、互联网公司的投入与产出的权衡、科技的发展与用户的需求变迁等。

结论：产品设计的品质在每个阶段的衡量标准是不同的，基于移动智能设备的互联网用户参与形式将产品设计迭代推向新高潮，对未来互联网产品设计迭代方法的探索也指明了方向。

互联网产品设计迭代的背景

2018年中国的两会期间，作为人大代表的雷军提出了《关于大力发展中国设计产业、全面提升中国设计水平的建议》议案「1」，他认为伴随着消费升级的大趋势，则需要全面提升中国制造乃至中国设计的品质，才能打造具有世界级声誉的中国品牌。而要提升尤其是以互联网为代表，以信息技术为基础的产品设计品质，其中关键之一就是需要在企业内部构建一套完善的用户研究和评估测试流程，基于用户反馈对产品设计进行迭代，不断调整和改良产品设计以达到提升产品质量的目的。

1. 缘起：基于脚本任务的实验室可用性测试

上世纪90年代正处于计算机科学技术的突飞猛进的阶段，著名易用性专家雅各布尼尔森（Jakob Nielsen）提出了可用性概念以及一系列与可用性相关的原则和测试方法「2」「3」。这些原则和方法历经20多年不论是对于当初的门户网站还是当前的移动应用都依然经典。其中可用性测试是一种常见的用户研究方法，非常适用于在设计流程以及上线流程中来评估产品设计质量。

由于当时人们的主要使用场景上都限于固定室内，因而外在环境或场景影响对于可用性测试的结果并不大，于是传统大型 IT 或互联网公司诸如微软公司对于用户研究大多都是在实验室里完成的，从而诞生了实验室可用性测试（Lab Usability Testing）「4」。

实验室可用性测试能够在不干涉受试用户的情况下非常完整的记录用户在受试过程中各种行为数据，甚至能够配合生理信号采集系统来进一步判断受试用户在不同任务时的心理状态，以供设计研究人员进行更为深入的研究和分析用户行为。当时的计算机类型绝大多数以单机系统为主的台式计算机，而且基于 C/S 即 Client/Server（可以是本地服务使用者/服务提供者，而不仅限于互联网的概念）结构的图形用户界面（GUI）操作系统已经成为普及，实验室可用性测试主要在 C/S 的 GUI 上来进行。根据 ISO 9241-11 国际标准对可用性的定义：产品在特定使用环境下为特定用户用于特定用途时所具有的有效性（Effectiveness）、效率（Efficiency）和用户主观满意度 (Satisfaction)。根据可用性层次的划分，有效性可以归为第一个层次，效率为第二个层次，而满意度则为其最高层次。交互设计可以保障产品中第一个和第二个层次即有效性和效率，但对于最高层次的满意度却不如 GUI 设计更为直接和有效。GUI 设计能够带来更多美感和情趣，通过视觉设计，在情感上给用户一种安抚，更有助于用户达到使用上的满意度「5」。

△ 「图：传统大型 IT 或互联网公司的产品设计与开发流程」

当时人们的主要使用场景与测试环境或场景比较吻合，但是这种测试方法通常情况下大多是针对少量（5个即可）用户的定性测试「6」，能够方便对数据采集，包括用户的发声反馈，视频及观察记录等，因此还需要结合诸如问卷调查等其它的用户研究或测试方法来弥补实验室可用性测试在受试样本上的不足，这也要求实验室可用性测试对于受试用户类型的选择更为严格与典型，对于任务的设计更加完善与准确「7」。另外，实验室可用性测试还受限于前期对于测试场地的高昂的投入和建设，以及测试过程中受限于受试用户的数量、质量等客观条件的选择，只有为数不多的注重产品设计质量以及在各方面资源充足的大型 IT 或互联网公司才能够负担且长期进行。这也导致了中小公司缺乏足够的资源进行产品设计的评估与迭代来保障用户体验的质量。

2. 发展：基于自然场景的互联网在线迭代

互联网信息技术的深入发展和普及为中小互联网公司带了新的契机，其中「以用户为中心」产品设计准则能够有效地提升互联网产品的可用性「8」，而实施该准则首先要了解用户及其所在场景「9」，需要通过深度的用户研究准确把握用户需求。用户研究涉及到的各类定量或定性的方法曾被大量应用在了一线科技公司的产品设计验证流程之中，为后续的产品设计迭代提供了有力的数据支持。但是这种历经20多年的经典的用户研究与测试方法对于新兴的互联网公司不论在人力、物力、财力还是时间成本上投入太大，尤其是对于更多关注投入产出比以及效率的初创互联网公司而言高不可攀，更何况经典的用户研究与测试方法的选择没有一定的最佳方案，因此尤其是国内众多初创互联网公司亟待需要寻求一种更加适合自身情况的产品设计的评估与迭代模式。

相较于传统的 IT 公司而言，以腾讯为代表的新兴互联网公司的在线产品大多基于 B/S，即 Browser/Server（基于互联网的浏览器/服务器模式）结构，客户端采用浏览器（Browser）运行软件。B/S 结构应用程序相对于传统的 C/S 结构应用程序是一个非常大的进步：可以在任何地方进行操作而不用安装任何专门的软件。对于用户来说只要有一台能上网的电脑就能使用，客户端零维护。B/S 结构的主要特点是分布性强、维护方便、开发简单且共享性强、总体拥有成本低「10」。这些基于互联网信息技术的天然优势使得以用户为中心的用户研究和测试可以不受时间与空间的限制，因此也不必再限于传统测试环境进行用户研究和测试，从而拉近了产品与用户之间的关系，并逐渐形成了一套互联网产品设计迭代方法。这套方法与传统的实验室可用性测试不同在于：不必再像传统 C/S 应用产品要达到完整程度再投放市场，因为用户可以随时在线获取，甚至可以在不确定产品设计是否符合用户需求的情况下快速投入市场以获得验证，进而为下一个版本的改进继续提供数据支持。

△ 「图：互联网公司的产品设计与开发流程」

全开放的互联网开发模式的兴盛

1. 契机：基于移动智能设备的现场可用性测试

随着时代发展，主流互联网产品又从 B/S 转移到了 C/S，从固定台式计算平台逐步转移到了移动计算平台，用户使用场景不再是固定而是多样。这对于新兴移动互联网公司有着更多机会获取独立用户的产品使用情况，加上智能手机及物联网设备（传感器）的快速发展和普及，尤其是智能手机自带的录屏功能、录音功能以及其它小型视频设备使得在现场进行用户测试变得门槛更低。这使得用户研究员可以在符合自然场景的现场地点做用户测试，同时也使得用户研究员能够更为方便地记录并跟踪高仿真度产品原型真实测试情况，用户也能够在实际测试中进行出声思考和评论。

这种测试方法很受移动互联网公司的青睐：受试用户一般被安排符合或接近实际使用场景被给予需要执行的任务，而设计研究人员只需开启被测智能设备例如智能手机自带的录屏和录音功能对被测用户的操作过程进行录制以备后续的数据统计与分析，而不再像传统的观察控制室通过单向反光玻璃并通过麦克风对测试用户发出相关指令并进行记录和观察。为了获取更为详细的数据，设计研究人员也会鼓励他们在尝试完成任务时出声思考。

例如，相较于传统的实验室记录，超小型的运动相机可以通过任意佩戴的方式记录受试用户在使用产品时的动作表情和声音，有时还会配合使用智能手机上安装的眼动记录软件通过前置摄像头来记录受试用户眼动轨迹或热区数据和使用运动手环来记录受试用户心率波动变化数据等，以便进一步获取受试用户在交互过程中的行为数据并了解用户界面对用户心理的影响。因此在自然场景下的可用性测试能够在不干涉受试用户的情况下更为真实和完整地记录用户在受试过程中各种行为数据，甚至能够获取自然场景下可能存在的其它非产品设计问题：比如由于网络连接引起的延迟、户外光线变化引起的屏幕低可视性等问题，能够针对性地反馈给其它相关开发人员进行研究和分析，并加以改进。

△ 「图：可用于移动自然场景拍摄的小米小蚁运动相机」

2. 变革：以小米为代表的全开放式用户参与互联网开发模式

这种基于移动自然场景的迭代方法在准确性上依旧无法替代经典的定性的用户研究方法，因为通过数据样本进行统计和分析只能够发现问题但无法定位问题的原因，所以新兴移动互联网公司通过大数据定位产品问题范围后，还需通过焦点小组或深度访谈更进一步明确产品细分问题并推导出具体原因。基于推导原因继续在线迭代，逐渐逼近产品设计的目标，循环往复「11」。此外，这种方式除了成本有所降低以外并不比实验室敏捷多少，也可能需要受试用户和设计研究人员付出更大的努力进行准备、配置、记录、整理统计和分析等工作。因此尤其是像小米这样新兴的移动互联网公司，迫切地需要创新出一种更为高效低成本的、敏捷的迭代模式来更好的优化产品与设计。

小米公司正式成立于2010年4月，是一家以手机、智能硬件和 IoT 平台为核心的互联网公司。而在初创时期的小米核心产品并非手机等智能硬件，而是从基于谷歌 Android 移动操作系统定制化开始，通过迭代和改进适合当前中国用户使用习惯，最终开发出广受赞誉的手机操作系统：MIUI，这也为后来的小米手机的推出和热销奠定了基础。与很多新兴的中小型移动互联网公司一样，小米在初创时期缺乏足够的资源和能力对 MIUI 中的各个产品功能和设计进行快速、完整地评估与迭代。

为了让产品设计迭代更加敏捷，能够快速响应用户反馈，于是小米联合创始人黎万强在进行小米手机操作系统 MIUI 开发时不像很多传统大型 IT 或互联网公司在产品未上市之前对市场或用户进行过多地防范和封闭，相反在确保产品基础功能稳定的基础上，会将产品设计团队的很多新想法、新功能都坦诚地公开在用户面前，目的是通过借助互联网的规模优势，让全国各地的用户都能参与到产品设计的验证和迭代之中，从而实现组建「一个10 万人的互联网开发团队」来帮助小米进行产品设计迭代。这一想法将互联网产品设计迭代推向了高潮。

△ 「图：10 万人的互联网开发团队模型」图片来源：黎万强，《参与感》

随着移动互联网和智能手机的大规模普及，使得这个想法逐渐成为可能：于是小米创新性地率先通过论坛包括基于移动端的小米社区作为互动平台，以更为开放的形式能够让一部分忠实用户深入参与到产品的研发过程中「12」，与产品设计团队在线进行密切协作。

通过高频率高密度的与用户线上交互，小米获取了在大量丰富的自然场景下的用户使用反馈后，通过快速迭代进行产品设计升级，从而达到降本提效。在面向消费者终端的行业中，小米总结出了「用户模式大于一切工程模式」。为了让用户深入参与到产品、设计和研发过程中，小米还设计了「橙色星期五」的互联网开发模式：核心就是 MIUI 团队通过论坛与用户互动，把 MIUI 系统的升级时间固定为每周星期五，以减少用户的记忆成本从而尽量减少用户参与的成本，同时也为了把这种论坛互动方式产品化，让用户能够在各种不同的自然场景中试用新产品或新功能后完成小米精心设计的使用报告——四格体验报告，以获取用户试用之后即时的主观评价与反馈。从最开始收到上万的反馈一直发展到现在每期都有数十万用户参与。

△ 「图：小米 MIUI 「橙色星期五」的四格体验报告与手机论坛」

此外，小米在 MIUI 中还能让用户在线抓取操作日志进行更为专业和详细的数据反馈，通过这些用户深度参与的机制不仅为小米团队节省了大量开发、测试甚至运营资源，还让 MIUI 收获了令人吃惊的好口碑和增长速度。这份口碑也构成了小米在日后发布手机后火爆的用户基础「13」。

△ 「图：用户可以通过各种方式进行在线反馈」

可见在当前中国国情下，这种全开放式的产品设计迭代模式使传统的产品验证的流程发生了转变：通过部分大规模忠实用户试用的用户反馈在移动互联网公司的产品研发阶段变得更为普及，因而能够被越来越多的国内中小型移动互联网公司乃至大型头部互联网公司所借鉴并推行。

△ 「图：以小米为代表的移动互联网公司的设计评估与迭代流程」

这种全开放式用户参与本质上还是一种中心化的产品设计迭代思路，需要符合所对应的公司文化、用户类型、业务规模以及风险控制等条件才能充分发挥出互联网开发模式的潜力，并也只能最终产生出「满足了80%的用户80%的需求」产品设计「14」。那么在未来，是否有一种满足「所有的用户所有的需求」的互联网产品设计呢？

未来互联网产品设计迭代的展望

1. 去中心化的互联网发展趋势

随着5G通讯、云计算与移动互联网服务的日渐完善，人工智能逐渐渗透到更多细分领域满足日益多变的用户个性化需求，同时有利于高科技公司进行快速、低成本的创新。众所周知，人工智能的发展依赖于大数据、云计算和实现框架「15」。互联网公司可以通过用户智能手机上的各种传感器从不同维度监测用户数据，使得智能手机逐渐成为每个用户的新一代「微型服务器和计算中心」，这种去中心化的互联网「云计算」能够存储和分析每个用户海量的数据帮助互联网公司更为精确地理解每个用户，并能够在此基础上探索出新的用户需求和衍生出新的产品与服务。因此，在未来如何基于人工智能进行产品设计迭代来满足「千人千面」的个性化用户需求将是所有互联网公司所面临的挑战「16」。

2. 自动驾驶技术的「影子模式」提供了一种可能性

2018年10月26日，特斯拉在北美地区向用户升级了新的自动驾驶技术：「Navigate on Autopilot」。这个技术的关键在于「Navigate on Autopilot」不论用户是否开启，都可以在后台记录在真实场景所有驾驶决策和控制数据。「这样在人类驾驶员导致交通事故时就可以对比分析，看看自动驾驶是不是可以避免事故」，特斯拉将其称之为「影子模式」「17」。

△ 「图：基于影子模式的高精度导航地图对比」

图片来源 Tesla Motors, https://mashable.com/2015/10/14/tesla-high-precision-digital-maps（左图是普通的低精度导航地图路径，而右图则是特斯拉通过数据积累绘制的高精度导航地图，通过对比可以看出，高精度导航地图可以呈现更详细更丰富的路径规划与选择，以应对实时变化的路况变化采取不同的自动驾驶策略「18」）

所谓的影子模式即无需主动定期招募目标用户、选择和撰写测试任务脚本、收集数据分析和产出报告，而是通过终端系统后台感知并记录自然场景下用户使用产品的每个基于真实需求所需要完成的任务路径数据，终端系统不采取实际测试任务指示，但是会对比完成同样任务时自己默认规划的最优任务路径。这样，当用户实际任务路径数据累积成为任务「路径流量」，通过绘制出高精度任务路径地图「19」和用户实际的任务路径流量判断每个任务完成情况是否符合终端系统预期的数据，尤其是当该任务路径下流失的用户流量或者某些任务路径的用户流量超出阈值时，系统会定位评级出该任务路径所在产品设计的具体问题并生成多个测试方案。影子模式的强大之处在于随着受试用户使用时间和任务路径数据的积累，系统能够记录和学习该用户特有的使用偏好进而结合该用户的个人用户画像分析该用户使用行为和心理预期，最终为该用户迭代出适合该用户偏好的最优产品设计方案。

3. 基于人工智能的自我产品设计评估与迭代

自我产品设计评估与迭代分为：感知记录，行为理解，定位评级与决策控制四个部分，周而复始，循环往复。

△ 「图：自我迭代模式」

感知记录：

采集的数据越客观「精度」越高，对后续评估与迭代越具有参考价值。但在以往的用户测试中，主观性和引导性都会影响数据的「精度」。例如在随机调查中，用户只是猜测他们可能会怎么做，或者他们喜欢哪些功能，但这并不意味着他们会在现实生活中使用或喜欢它们「20」。此外，以往通过用户测试所收集的数据大多来源于具有引导性的用户任务场景中，因此数据不可避免或多或少地受到非客观的显性重要性影响（Explicit Importance）「21」。而影子模式的感知记录能更好地避免由于人工干预导致的显性重要性影响而产生的测试误差。

行为理解：

通过使用场景的重绘与用户操作路径的统计，结合用户个人的基本信息或画像，来更为准确地判断用户偏好和理解用户行为「22」，通过元数据、场景数据并结合详细的行为数据识别和分析得到用户的不同行为。但是并不一定同样的问题对不同偏好的用户都会产生可用性问题。例如有的用户偏好倾向手动输入银行卡信息的交互操作可能对于偏向更快捷的扫描输入银行卡信息交互操作用户而言反而会导致可用性较差，这取决于用户输入信息习惯，心理安全感甚至与硬件设备条件限制等诸多与用户画像与使用场景相关。因此这些不同行为偏好可以迅速定位出具体的可用性问题，并据此针对不同的用户展示不同的迭代方案。

定位评级

基于「幸存者偏差（Survivorship Bias）」理论「23」，以往的数据的采集和统计往往基于那些能够完成任务或者是有愿意完成任务的用户，而更为重要的可用性问题则有可能集中在那些中途无法完成任务而流失的用户身上：即首要应该考虑在那些未完成任务的用户操作路径数据中分析找出用户流失最为意外和严重的任务操作路径。因此高精度的用户任务操作路径数据的统计能够更为精准的对可用性问题进行定位和评级。此外，由于有了用户画像与用户 ID 数据的统计和分析，目标用户能够更为容易地被确定，所产生的任务操作路径数据相对其它类型用户也更具评估价值。

决策控制

对于前面提到的不同偏好的用户，有可能同样的设计方案会造成不同的结果。在理解用户行为的基础上产品设计的评估与迭代更加智能化，可以自主决策如何进行产品设计迭代：通过实时监控该类用户任务操作路径的数据，并不断自主迭代出最适合该类用户非显性重要性偏好的产品设计，做到更懂用户以至于能够自主决策和控制整个产品设计的「进化」方向，这也将实现产品设计的「千人千面」，以满足不同用户日益多变的个性化需求。

结语

产品设计的品质在每个阶段的衡量标准是不同的，这不仅取决于公司及其所在社会环境对产品设计迭代的认知程度，同时还取决于公司依据自身实力在这个过程中的资源投入是否能获得因产品设计质量提升所带来的增值，因此它的评估与迭代在每个阶段的方法和目标也会是不同的。更重要的是，随着用户需求层次的不断提高，产品设计的目标也会随之不断提升：例如在最早时期的标准就是能够让不同的人去适应于一个标准、通用产品而不出错和可用，而随着互联网、大数据和人工智能等先进平台和技术不断深入发展，可以想象，互联网公司产品设计的评估与迭代的衡量标准将是如何更懂「我」和更了解「我」，如何能够自我「进化」地去适应每个不同的人。

更多小米设计案例：

参考文献

• 雷军：《关于大力发展中国设计产业、全面提升中国设计水平的建议 》[J]，中国科技产业，2018年第03期。
• Jakob N., MOLICH, R. Heuristic evaluation of user interfaces [C]. Proc. ACM CHI’90 Conf, Seattle, WA, 1-5 April 1990, 249-256.
• Jakob N. Heuristic evaluation. In Nielsen, J., and Mack, R.L. (Eds.), Usability Inspection Methods [M]. John Wiley & Sons, New York, NY, 1994.
• Usability Testing: Microsoft’s Unique Approach. Microsoft Research, https://news.microsoft.com/1998/05/19/usability-testing-microsofts-unique-approach, 1998.
• 张旭：《浅谈可用性的 GUI 设计》[J]，艺术与设计 (理论版)，2008年第7期，第114-116页。
• Jakob N. Why You Only Need to Test with 5 Users. Nielsen Norman Group, https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users, 2000.
• 张旭：《基于可用性的移动流媒体视频点播业务的交互研究与设计》[D]，湖南：湖南大学，2008，第20-31页。
• Donald A N. User-Centered System Design: New Perspectives on Human-Computer Interaction [M], 1986.
• Turn User Goals into Task Scenarios for Usability Testing. Nielsen Norman Group, https://www.nngroup.com/articles/task-scenarios-usability-testing, 2014.
• P.B. Lewis. Application of WWW technology to the human-machine interface [C]. 1999 International Conference on Human Interfaces in Control Rooms, Cockpits and Command Centres, 1999, 206-211.
• Christian R. When to Use Which User-Experience Research Methods. Nielsen Norman Group, https://www.nngroup.com/articles/which-ux-research-methods, 2014.
• 《从「以用户为中心的设计」到「用户参与式设计」》，百度 MUX， http://www.boxui.com/ued/user-research/7618.html，2013年。
• 黎万强：《参与感：小米口碑营销内部手册》[M]，北京：中信出版社，2014。
• 刘德：《小米生态链Part 1:小米的产品故事》[C]，浙江：湖畔大学，2016。
• The Decentralized Web (3.0) – How the Internet is Changing for the Better. Techutzpah, https://www.blockdelta.io/the-decentralized-web-3-0-how-the-internet-is-changing-for-the-better, 2019.
• Eyal D, Carolina S G, Steve L, S. H M, Meysam R. Hierarchical Serverless Computing for the Mobile Edge [J]. 2016 IEEE/ACM Symposium on Edge Computing (SEC), 2016.
• Introducing Navigate on Autopilot. The Tesla Team, https://www.tesla.com/blog/introducing-navigate-autopilot, 2018.
• Introducing Software Version 9.0. The Tesla Team, https://www.tesla.com/blog/introducing-software-version-9, 2018.
• 张旭：《交通标志的获取、确定交通路路线的方法、装置及系统》[P]，中国发明专利，CN201410852738.0，2014年。
• Jakob N. First Rule of Usability? Don’t Listen to Users, https://www.nngroup.com/articles/first-rule-of-usability-dont-listen-to-users, 2001.
• Measuring Explicit vs. Implicit Importance in Customer Satisfaction Studies. Openmet Group, https://www.openmet.com/en/enmeasuring-explicit-vs-implicit-importance-in-customer-satisfaction-studies-htm.htm, 2014.
• Kara P. Why Designers Think Users Are Lazy: 3 Human Behaviors. Nielsen Norman Group, https://www.nngroup.com/articles/lazy-users, October 2015.
• Survivorship bias. Wikipedia, https://en.wikipedia.org/wiki/Survivorship_bias, April 2017.

欢迎关注作者的微信公众号：「二手设计」