图片由 @artic_studios 在 Unsplash 创作
生成式人工智能（GenAI）加快了开发周期、减少了技术与维护的工作量，以及原本难以实现的创新应用场景。然而，它也带来了新的风险——例如，生成虚假信息以及对第三方API的依赖性。
对于数据科学家和机器学习团队而言，这种演变对其角色产生了直接影响。一类新的AI项目已经出现，这些项目中，一部分AI功能是由外部模型提供商（如OpenAI、Anthropic、Meta等）实现的。非AI专家团队现在可以相对轻松地整合AI技术。在这篇博客文章中，我们将探讨这将如何影响数据科学和机器学习团队。
- 现在可以解决更多的问题了，但并非所有问题都适合用AI来解决。
- 传统机器学习并没有消亡，而是通过生成式AI得到了扩展。
- 有些问题最适合通过生成式AI来解决，但仍需要机器学习专家来进行评估和处理伦理风险。
- 在公司内部，AI素养变得越来越重要，而数据科学家在这个过程中扮演着关键角色，使其成为现实。
GenAI 解锁了更广泛问题的解决潜力，但这并不意味着每个问题都是 AI 问题。数据科学家和 AI 专家仍然至关重要于识别何时使用 AI 合适，挑选合适的 AI 技术，并设计并实施可靠的解决方案来解决给定的问题（不论解决方案是 GenAI、传统机器学习还是混合方法）。
用不用机器学习？怎样判断用机器学习是不是好主意，还有生成式AI又是怎么影响这个决定的towardsdatascience.com然而，尽管人工智能解决方案的范围已经扩大，但在选择合适的用例时需要考虑两件事，具体来说，确保解决方案具有未来的适用性。
- 在任何时候，GenAI 模型都会有一定的局限性，这些局限可能会对解决方案产生负面影响。由于我们处理的是预测和概率，这些预测和概率总是会存在误差和不确定性，这一点始终成立。
- 同时，发展速度非常快，并且在未来不久的时间里将继续演变，减少并克服 GenAI 模型的局限性和弱点，并增添新的能力和功能。
如果当前的LLM版本无法解决某些特定问题，但未来版本可能可以解决，那么现在可能更策略地选择等待，或者开发一个暂时不那么完美的解决方案，而不是投资于复杂的内部开发来过度工作和修复当前LLM的局限性。再次强调，数据科学家和AI专家可以帮忙引入对所有这些进展方向的敏感度，并区分哪些事情可能由模型提供商解决，哪些事情应该从内部解决。例如，添加允许用户编辑或监督LLM输出的功能可能比追求带有复杂逻辑或微调的完全自动化更有效率。
市场上的差异化不仅仅来自于使用大规模语言模型，因为这些现在已经对每个人开放了，而是来自于通过这些模型提供的独特体验、功能和价值（如果我们都在使用相同的基础模型，我们又如何脱颖而出呢？参见《利用AI打造你的竞争优势》）（参见《利用AI打造你的竞争优势》）。
传统机器学习依然存在——而是通过生成式AI得到了提升有了生成式AI，数据科学团队可能更侧重于少花时间在模型开发上，而更多关注整个AI系统的整体。
虽然生成式AI技术已经革新了人工智能领域及许多行业，传统机器学习依旧至关重要。许多用例仍然需要依靠传统的机器学习方法（比如大多数不涉及文本或图像的场景），而其他问题可能更适合用机器学习而不是生成AI来解决。
而不是替代传统机器学习，生成式AI通常与它互补：它允许更快地进行原型设计和实验，并且可以通过混合机器学习和生成式AI的解决方案增强某些使用场景。
在传统机器学习的工作流程中，开发诸如自然语言处理（NLP）的分类器这样的解决方案包括：获取训练数据（可能需要手动标注），准备数据集，训练和微调模型，评估性能表现，部署、监控和维护系统。这一过程通常需要数月时间，耗费大量资源。
相比之下，使用GenAI，工作流程大大简化：选择合适的大型语言模型（LLM），进行提示工程或迭代提示，离线评估后，以及通过API将模型集成到生产中。这大大减少了从概念到部署的时间，通常只需要几周而不是几个月的时间。此外，许多维护工作由LLM提供商负责处理，进一步降低了运营成本和复杂度。
ML 与 GenAI 对比项目阶段图，作者绘制的图片
因此，GenAI 允许 快速地测试想法和证明价值，无需收集标注的数据或投资内部模型的训练和部署。一旦价值被证明，ML 团队可能会决定转向传统机器学习解决方案以降低成本或减少延迟时间，同时可能利用最初由 GenAI 系统生成的标注数据。同样，许多公司现在在证明价值后转向小型语言模型（SML），因为这些模型可以进行微调，并且更容易部署，与大型语言模型（LLMs）相比，可以实现相当甚至更好的性能（《小即是大：小型语言模型的兴起》）。
在其他情况下，最佳解决方案是将GenAI和传统机器学习结合成混合体，以结合两者的长处。一个很好的例子是《构建DoorDash的产品知识图谱的大型语言模型》，其中他们解释了如何将传统机器学习模型与大型语言模型结合使用，以改进分类任务，例如标注产品品牌。当传统机器学习模型无法准确分类某样东西时，会使用大型语言模型，如果大型语言模型能够完成分类任务，将用新的标注重新训练传统机器学习模型（这形成了一个很好的反馈循环！）
无论如何，ML团队将继续研究和开发传统ML解决方案，对预测模型进行微调和部署，同时认识到GenAI如何能加速和提升解决方案的速度与质量。
有些问题利用生成式人工智能来解决会更好AI领域正从使用众多内部专用模型转向使用几家外部公司拥有的少数大型多任务模型。机器学习团队需要接受并适应这一变化，并准备好将生成式AI解决方案纳入可能的方法列表中，以保持竞争力。虽然模型的训练阶段已经完成，但仍需保持对机器学习和AI解决方案的心态和敏感性，因为这些解决方案仍然是概率性的，而不是传统软件开发中的确定性，与传统软件开发的确定性截然不同。
尽管生成式AI带来了诸多好处，但ML团队仍然需要应对自身的挑战和风险。与使用内部传统的ML解决方案相比，选择基于GenAI的解决方案时，主要增加了以下风险：
新的生成式人工智能风险与传统的机器学习风险（用紫色标出）一起列出。
- 依赖第三方模型带来的问题： 这会带来每次调用的新成本费用、更高的延迟，可能会影响实时系统的性能表现，以及缺乏控制（因为我们目前对它的训练数据或设计决策了解有限，提供者的更新可能会在生产环境中带来意想不到的问题）。
- GenAI 特有的风险： 我们清楚地了解 GenAI 中的自由输入和自由输出。自由输入会带来新的隐私和安全风险（例如由于数据泄露或提示注入攻击），而自由输出可能导致幻觉、毒性内容或偏见和歧视的增加。
虽然生成式AI（GenAI）解决方案通常比传统机器学习模型更易于部署，但它们的部署仍然需要机器学习方面的专业知识，尤其是在评估、监控和伦理风险管控方面。
与传统机器学习一样，GenAI 的成功依赖于稳健的评估。由于其一般的“自由输出”特性（答案的相关性、正确性、语气、幻觉、潜在的风险等），这些解决方案需要从多个角度进行评估。在部署前进行这一步，通常称为“离线评估”，以了解系统在部署时的行为和性能。请务必查看这篇关于大语言模型评估指标的全面介绍（https://confident-ai.com/blog/llm-evaluation-metrics-everything-you-need-for-llm-evaluation），它区分了统计评分器（如 BLEU 或 ROUGE 等用于衡量文本相关性的定量指标）和基于模型的评分器（如基于嵌入的相似度度量）。数据科学团队在设计和评估这些指标方面表现出色，即使这些指标有时可能比较抽象（例如，如何衡量有用性或相关性）。
一旦生成式AI解决方案被部署，监控变得至关重要，确保它按预期运作，并在长时间处理真实数据时保持正常运作。与离线评估中提到的类似指标一样，可以检查这些指标，确保离线评估的结论在实际部署后依然成立。在这种情况下，也可以通过与用户研究团队紧密合作，丰富定量分析和定性反馈。直接向用户询问反馈，例如‘你觉得这些建议有用吗？如果没有，请说明原因’。
更大的复杂性和黑盒设计放大了GenAI模型所携带的伦理风险。机器学习团队在将他们关于可信AI的知识带到桌面上发挥重要作用，对可能出错的事情有敏感性，并能识别和缓解这些风险。这项工作可以包括比如进行风险评估，选择较少存在偏见的基础模型（ComplAI 是一个适合评估和基准测试LLM在伦理维度上的有趣新框架），定义和评估公平性和无歧视性指标，以及应用技术和准则以确保输出符合社会和组织的价值观。
人工智能素养水平在公司里变得越来越重要起来一个公司的竞争优势不仅取决于其内部的AI项目，还取决于员工能否有效地理解并运用AI。数据科学家在提升团队的AI水平方面起着关键作用，让员工能够利用AI，同时也明白其局限性和风险。在他们的帮助下，AI不仅应作为技术团队的工具，更应成为整个组织的核心能力之一。
为了提高人工智能素养，组织可以实施各种举措，例如内部培训、研讨会、技术聚会和黑客松。这将有助于之后的意识提升和知识传播。
- 增强内部团队的能力，同时提高他们的生产力， 通过鼓励他们使用他们正在使用中的工具中的通用人工智能或特定的人工智能功能。
- 发现那些具有巨大潜力的机会。 业务和产品专家可以提出一些之前被认为太复杂或不可能实现的项目想法（这些项目现在可能借助生成式AI变得可行了）。
毫无疑问，数据科学和人工智能领域变化迅速，随之变化的是数据科学家和机器学习团队的角色。虽然GenAI API让没有机器学习背景的团队也能应用AI解决方案，但数据科学和机器学习团队的专业知识对于构建稳健、可靠且符合伦理的解决方案仍然至关重要。在这种新背景下，数据科学家的角色发生了变化，包括：
- 跟上AI进展的步伐， 以便能够选择最佳技术来解决问题，设计并实现出彩的解决方案，并确保方案的可持续性，同时承认其局限性。
- 采取系统全面的视角， 而不只是专注于预测模型，更加注重端到端的流程，并包括与其他角色的合作，以影响用户如何（监督）与系统互动。
- 继续开发传统机器学习解决方案， 同时认识到GenAI如何帮助加速并提高解决方案的质量。
- 深入理解GenAI的局限性和风险， 以构建既可靠又值得信赖的AI系统（包括评估、监控和风险管理）。
- 在组织内作为AI冠军：推广AI知识，帮助非技术团队利用AI，并识别合适的契机。
数据科学家的角色不会被取代，而是会被重新定义。通过拥抱这一演变，数据科学家的角色将仍然不可或缺，指导组织有效且负责任地使用人工智能。
期待从GenAI带来的所有机会以及数据科学家角色重新定义带来的机会！