·发表于 Towards Data Science ·阅读时间 7 分钟·2024 年 8 月 31 日
--
我最近的博客文章“我们需要提高 AI 产品经理的标准”激发了广泛的讨论，大家都对推动 AI 产品管理领域的发展充满热情。许多现任和有志成为产品经理的人随后联系我，询问如何在成为 AI 产品经理的过程中学习更多关于 AI 的知识。
根据我的经验，最有效的 AI 产品经理在两个关键领域表现出色：识别 AI 可以带来价值的机会，并与模型开发人员合作，确保技术的有效部署。这需要对不同类型的模型在实际产品中上线后可能表现出的行为有一个扎实的理解——这是许多新手经常感到吃惊的现实。无论是面对客户的应用，还是支撑产品的后台数据管道，炫目的演示或早期原型与实际产品表现之间的差距往往是巨大的。
培养这种直觉的最佳方式是将一系列模型部署到产品中，并在过程中犯下许多错误。其次的好方法是了解你公司其他团队的工作，并从他们的错误（和成功）中学习。翻阅你能找到的任何文档，并在可能的情况下，参加产品评审或团队更新会议。通常，直接参与项目的人员会很乐意与您交流，回答您的问题，并提供更多背景信息，尤其是如果你的团队正在考虑类似的项目。
那么，如果你在一家公司没有做任何与人工智能相关的工作呢？或者你的公司专注于一小部分技术？又或者你正在找工作？
除了查看资源以熟悉术语和最佳实践外，我还建议你自己开发 AI 项目。我还建议做一些副项目，即使你从日常工作中能学到很多。每个 AI 用例都有其独特之处，接触到的例子越多，你就越能快速培养出对什么有效、什么无效的直觉。
对于一个入门项目，我建议从 LLM（大语言模型）开始，比如Claude或ChatGPT。你应该能够在几个小时内（如果你已经懂得编程和编写有效的提示语，甚至几分钟内）启动一个有实质内容的项目。虽然并非所有实际公司的 AI 项目都会使用 LLM，但它们正获得越来越大的关注。更重要的是，仅凭基础的数据科学或编程知识，你也能更容易地创建出自己的工作模型。如果你的编程技能生疏了，使用开发者 API 可以让你有机会温习一下，如果遇到困难，LLM 是一个很好的资源，能够帮助你生成代码和解决问题。如果你对编程和 LLM 都不熟悉，那么使用在线聊天界面是一个很好的热身方式。
但使用 ChatGPT 网站或应用程序来提高工作效率（例如总结文章或草拟电子邮件）和一个真正的项目之间有什么区别呢？
一个项目应该旨在以可重复的方式解决一个实际问题，重现你在为公司部署产品时会遇到的约束。正是这些细微差别帮助你磨练一些最重要的技能，特别是在 AI 产品管理工作中，尤其是模型评估。查看我的文章“什么是评估，为什么产品经理应该关心”以了解模型评估的基础知识。
为了确保你正在做的是一个真正的项目，并且可以进行自己的小型评估，确保你具备以下条件：
-
多个测试样本：选择那些可以在至少 20 个不同的例子或数据点上评估模型的项目。
-
多样化数据：确保你的数据集包含多种不同的场景，以测试哪些因素会导致模型出错（从而为你提供更多修正机会）。
-
明确的评估标准：从一开始就明确有效模型或产品的行为表现。你应该为你的 20 个例子准备 20 个理想的回答，以便评估模型。
-
真实世界相关性：选择一个反映你工作、个人生活或你身边某个人实际用例的问题。你需要对模型的有效性有充分了解才能进行评估。
请不要做这些特定的项目，除非其中某个项目真的引起了您的兴趣。这些项目仅用于说明目的，帮助区分什么是实际的项目，而不是单纯的查询：
-
目标：判断某个产品是否适合作为送给直言不讳的朋友或家庭成员的礼物。
-
方法：使用文本生成来评估产品标题和描述，并提供一个描述受众口味的提示。如果您想做得更复杂一些，可以使用视觉能力来评估产品描述、标题和产品图片。
-
测试样本：50 张不同的产品图片和描述。为了增加难度，您的示例应包括一些显然不好的产品，一些显然好的产品，许多边界模糊的产品，以及一些完全随机的产品。
-
评估：让目标礼物接收者评估这些产品列表，按“完全不行”、“一般”和“非常合适”这样的尺度对每个产品与他们偏好的匹配度进行评分。将这些评分与模型的分类结果进行对比。你还可以通过让模型提供每个物品是否适合的理由，获取大量有用信息。这将帮助您解决失败问题并指导提示更新，同时也能让您更深入了解 LLM 是如何“思考”的。
-
目标：将您祖母最喜欢的绝版食谱书转化为一款适合您和表兄弟姐妹们使用的应用程序。
-
方法：使用视觉能力从食谱书页的照片中提取食谱。
-
测试样本：20 张不同类型食谱的图片。为了让开始更简单，您可以先专注于甜点。示例可能包括 3 种饼干、4 种蛋糕等。
-
评估：每个食谱中所有关键的原料和步骤是否都包含在最终输出中？仔细对比 LLM 的输出和原始食谱，检查原料、量度和烹饪步骤的准确性。如果能够将最终数据转化为某种结构化格式（例如 JSON 或 CSV），便于在应用程序中使用，将获得额外分数。
图片由作者使用 Midjourney 生成
-
目标：帮助公众人物的公关团队识别他们所说的任何引语或事实，供事实核查团队验证。
-
方法：使用文本生成来评估文章的文本，并返回每篇文章中提到的关于公众人物的引语和事实列表。
-
测试样本：20 篇关于公众人物的近期文章，涵盖至少 3 个不同事件，来自至少 4 家不同的出版物（例如，一家八卦网站、一家像《纽约时报》这样的全国性报纸，以及介于两者之间的媒体，如 Politico）。
-
评估：仔细阅读每篇文章，看看是否遗漏了公共人物的任何事实或引用。想象一下，如果你的总结者出现幻觉（例如：说他们说了某些他们并没有说过的话）或错过了关键信息，你的工作可能会岌岌可危。检查总结者找到的所有引用和事实是否确实与您的公共人物相关，并且它们是否都在文章中提到。
欢迎你使用任何大型语言模型（LLM）来进行这些项目，但根据我的经验，如果你在编程经验上有所限制，ChatGPT API 是最容易入手的。一旦成功完成一个项目，在相同数据上评估另一个 LLM 是相对简单的。
记住，入门项目的目标不是完美，而是找到一个有一定复杂度的有趣项目，以确保你遇到困难。学会排除故障、迭代，甚至撞墙时意识到某些事情不可能发生，这将帮助你磨练对可行和不可行的直觉，以及了解需要多少工作量。
培养对 AI 能力和局限性的强烈直觉对于有效的 AI 产品管理至关重要。通过参与实践项目，你将获得关于模型评估、故障排除和迭代的宝贵经验。这些实践知识将使你成为模型开发者更有效的合作伙伴，使你能够：
-
确定 AI 能够真正增加价值的领域
-
对 AI 项目的时间表和资源需求做出实际估计
-
在故障排除和评估过程中做出有意义的贡献
在处理这些项目时，你将对 AI 的实际应用和挑战有更深刻的理解。这些经验将在快速发展的 AI 产品管理领域使你脱颖而出，帮助你领导创新项目并做出明智的决策，推动产品成功。
记住，成为一名专家 AI 产品经理的旅程是一个持续的过程。拥抱学习过程，保持好奇心，不断寻找新的挑战来提升你的技能。通过专注和实践经验，你将能够在 AI 产品开发的激动人心的前沿领域中游刃有余。
对你的 AI 项目或本文有疑问吗？可以通过LinkedIn与我联系，继续讨论。