作者：Akos Lada，Xiaoxuan Liu，Yuchen Shao，Yi Wang，Rion Graham，Bee Padalkar，Charlie Walker，Molly Lewis等
在 Meta，我们专注于通过利用数据驱动的分析来优化用户旅程，以识别、量化并在整个体验中解决关键痛点。我们非常重视用户反馈，将其视为产品开发和优化过程中的关键组成部分。用户反馈通常以非结构化格式提供，例如自由文本描述，这使得大规模处理和分析变得颇具挑战。大型语言模型（比如 Llama）的出现在这方面取得了突破。通过利用大型语言模型的力量，我们显著提高了衡量和解读这些反馈的能力，从而能够更有效地识别系统问题并实施有影响力的产品调整。
在这篇文章中，我们将更深入地探讨我们如何开始利用大型语言模型来分析用户提交的错误报告，以及它如何帮助我们优先处理任务并找到改进产品质量和进行根本性变革的机会。虽然这篇帖子详细介绍了Facebook的这种方法，但Meta内的许多其他组织也在采取类似的做法。
首先来聊聊一些基础的词汇。
- 大语言模型 (LLM): 一种人工智能 (AI) 程序，能够识别大量文本数据，并以高精度完成自然语言处理任务。
- 用户提交的 bug 报告: 用户通过应用程序内的机制（如摇晃手机）提交的报告，通常包含文本描述。这提供了了解用户问题的重要信息。
- 非结构化数据: 没有固定格式或结构的信息，例如文本文件、图片等。
- 仪表板: 一种展示各种数据的面板，用于跟踪进度和辅助决策。
传统上，我们依赖人工审阅者和传统机器学习模型来分析缺陷报告。虽然人工审阅能提供宝贵的见解，但这种方法往往资源消耗大，扩展难度大，并且难以快速提供见解。尽管传统机器学习模型有一些优势，但它们在直接处理非结构化数据时有时处理起来比较吃力。这就是大规模语言模型（LLM）大显身手的地方。
我们的想法是利用大型语言模型来改变我们分析用户反馈的方法，从而释放几个关键好处：
- 理解大规模且复杂多样的用户反馈。
- 通过仪表板监控日常数据，发现其中的模式。
- 识别不断演变的问题，采取主动缓解策略。
- 分析用户投诉的根本原因，推动产品改进。
这种方法让我们能够获得更深入且实用的洞察，并且更好地满足用户需求。
案例分析作为一个例子，在一次导致外部产品和内部系统停机数小时的技术问题期间，用户在访问我们的应用家族时遇到了困难。我们基于LLM的方法立即检测到了这一点，并注意到用户主要在故障报告中抱怨“无法加载Feed”、“无法发布内容”等问题，从而提醒了问题的存在。
此外，我们的方法主要识别了那些可能被忽视且需要更长时间才能发现的不太容易发现的错误。显然的问题很快就能被发现并解决，但我们的方法帮助迅速解决了其他问题，最终在过去的几个月里大幅减少了总体的错误报告，减少了两位数的百分比。
策略手册：利用大语言模型分析用户投诉并推动有影响力的产品更改这本策略手册将帮助我们利用大语言模型分析用户投诉并推动有影响力的产品更改
我们正在利用大语言模型（LLM）来改进我们理解和解决用户投诉的方式。从分类 bug 报告到找出根本原因，我们的 LLM 驱动方法结合了先进技术与可操作的见解，推动产品改进，从而提升用户体验。以下是我们的行动计划：
基于大规模模型的分类
- 我们开发了一个基于LLM的分类系统，将每个报告分配到预定义的类别中。这种方式确保对非结构化反馈的结构化理解，并通过集成的仪表板进行日常监控。
- 它还涉及迭代的提示设计，以引导LLM生成最优且准确的输出。
不过，达到这一自动化阶段则需要大量的人类专业知识和不断调整提示。
- 定义有意义的类别和确保输出符合业务需求及团队目标，专业知识必不可少。
- 同时，提示工程是迭代且非常重要的流程，用于不断优化大语言模型的表现。这涉及测试不同问题和指令的表达方式，以确保模型能够生成准确、一致且可操作的输出。
- 这强调了一个重要的教训：虽然大语言模型有能力自动化复杂的工作流程并理解非结构化数据，但确保可靠且实用的结果，前期需投入调优和迭代。正是人类专业知识与模型能力的结合，才使自动且有效的决策得以实现。
趋势跟踪
- 我们通过LLM驱动的仪表板每周进行报告和趋势监测，以跟踪用户投诉的变化趋势并识别新兴趋势。
生成性理解力：探究投诉背后的“为什么”
- LLMs不仅可以用于分类任务。它们还可以有效地进行“合理化”，回答“用户为何会遇到问题”，帮助在故障期间找到问题的根本原因。
- 理解了用户的痛点和根本原因，我们能够开发出可行的解决方案，从而减少 bug 报告的数量。
关于修复错误和产品发展方向。
- 借助LLM提供的洞察，我们与包括工程、产品管理、用户体验研究等在内的跨职能团队合作，识别系统中的效率瓶颈并开发解决方案。有时这些努力也会扩展到跨组织合作，以实施相应的修复措施。
数据管道和仪表板：扩展你的方案
一旦我们完成了第一个版本原型后，并看到了它在影响产品决策方面的价值，我们开始考虑扩大数据管道规模以及构建一个集中展示关键指标的仪表板。这使我们能够定期监控关键指标，发现趋势，并确定需要改进的地方，最终带来长期影响。
为了我们的用例，我们创建了符合隐私保护的聚合长期保留表，以支持我们的仪表板，为长时间追踪用户错误报告提供了坚实的基础保障。这种集成提供了一个强大的平台用于：
- 轻松识别问题：我们的仪表板可视化提供了一种简单的方式来识别新问题并验证修复效果。
- 全面深入分析：我们的仪表板包含多种过滤组合，让用户可以深入分析并发现有用的信息。
- 早期发现问题：我们的仪表板设有数据质量检查和阈值监控，能尽早发现潜在问题，确保可以及时采取措施。
总结
在 Meta，我们开发了一套全面的指南和工具，并辅以一系列工具，以提升我们如何使用大语言模型来理解用户反馈的能力。
截至目前，这种方法已经成功地影响了产品的变化，展示了在整个用户体验过程中可衡量的积极影响。通过应用此框架，各领域的团队都能获得可扩展的定量见解，从而解决之前难以解决的问题。这将为公司内部所有产品的用户体验改进铺平道路。
随着AI的不断发展，我们将继续努力改进我们的方法，以适应创新的步伐，并在我们的产品和服务中持续创造价值。
随时随地看视频
