- 众多创业公司正积极进入人工智能推理市场。
- 推理市场的竞争可能会导致人工智能价格下降，这对开发者是个好消息，但对云服务商来说则是个挑战。
- 并非所有初创企业都能在即将到来的“动荡”时期生存下来。
杰瑞德·昆西·戴维斯及其人工智能计算初创公司Foundry专注于推理服务。他们不生产芯片或构建大型语言模型，而是采用一种独特的方法来提升云计算的效率。Foundry的团队没有将技术出售给云服务商，而是选择自己成为云服务商，利用自身技术运营更高效的云平台。
一旦希望利用和销售人工智能产品的公司完成模型训练并了解其性能后，他们在生成输出时会追求便捷、速度和价值。像Foundry这样的推理即服务提供商，旨在简化生成这些输出的过程。
与许多云服务商一样，Foundry也提供培训和微调服务，但如今，似乎任何拥有人工智能计算提升技术的公司都在尝试通过出售推理来获利——更具体地说，是出售代币，即人工智能中的基本数据单位。
大脑公司也在销售推理服务。该公司的核心专长在于设计用于训练和推理的芯片，但最近开始将推理作为服务进行销售。Groq也是如此，这是一家由两位前谷歌员工创办的芯片公司，他们早早意识到推理将在计算领域占据更大份额。另一个硬件平台SambaNova Systems同样将推理作为服务进行销售。
Lambda、CoreWeave、Together AI和Crusoe等公司是英伟达的紧密合作伙伴，运营着专门为人工智能工作负载设计的数据中心，并提供推理服务。此外，还有像AWS和微软Azure这样的超大规模服务商。
随着专注于推理的公司数量不断增加，越来越多的人开始怀疑推理的成本即将大幅下降。
戴维斯在接受《商业内幕》采访时表示：“推理的商品化部分原因在于，消费者最终还是会为代币付费。”
戴维斯指出，目前的推理市场有点像电力市场。如果你真的比较几家，你可以找到很多小众资源，但并不是每个人都会这样做。大多数人只是想打开电灯，让它亮起来。
然而，对于那些愿意深入了解的人来说，存在许多细微差别需要考虑。对某些客户而言，速度是最重要的。速度的差异体现在第一个代币的响应时间和每秒代币的处理速度上。总作业完成时间各不相同，不同类型的推理工作负载适合不同的计算环境。
底层硬件和网络的能源效率是成本的重要决定因素。Groq的联合创始人乔纳森·罗斯最近告诉《商业内幕》，推理计算的成本甚至比训练成本更为关键。训练是一种间接成本，而推理则是直接的操作成本。
相关故事
剔除所有复杂因素，推理正在成为人工智能时代的商品。
Lambda的云计算主管Mitesh Agrawal告诉《商业内幕》：“一些公司只关心结果，而不在乎基础设施。”
人工智能的普及化
Lambda仍处于“推理即服务”的初期阶段，但Agrawal表示，该公司正在谨慎行事，专注于提供全面的计算服务，而不仅仅是代币。
阿格拉瓦尔提到，推理的利润率可能差异很大。对于通用计算（客户租用固定容量），利润率更易于管理。而当你根据使用情况或模型的输入和输出收费时，回报就变得不那么可预测。
在有限的服务器上组织多个用户需要技巧。阿格拉瓦尔解释说，硬件的运营成本是否真的有利润空间，最终取决于该组织的管理能力。
那么，为什么新兴云服务会提供风险更大的服务呢？
阿格拉瓦尔表示，这是为了吸引潜在客户。“推理即服务”的客户可以转变为更传统的计算客户，随着竞争对手的增加，关系和历史变得愈发重要。
Lambda的财务模型假设，随着越来越多的参与者进入推理市场，芯片将变得更加高效，价格将迅速下调。
一场价格竞争？
推理需求的增长速度尚待观察，但在最近的公开声明中，英伟达首席执行官黄仁勋多次提到，像OpenAI的01这样的新模型需要更多计算来生成相同数量的响应，因为它们运行多个模型来验证自己的工作或进行“推理”。事实证明，准确性需要更多的计算资源。
推理负载预计将增长，但服务提供商仍然预期新玩家的涌入会导致价格下降。不过，戴维斯对此并不担心。
他提到杰文悖论——价格下降或效率提高导致总消费增加的经济学原理——就像拓宽高速公路后交通变得更糟一样。
“如果我把价格降低10倍，人们不会花10倍的钱，甚至不会保持预算不变。他们会花更多的钱，”戴维斯说。“这是有道理的，因为当你把价格降低10倍时，你实际上是在提高投资回报率。”
换句话说，“事实证明，当你让推理变得更便宜时，人们会选择进行更多的推理，”戴维斯表示。
然而，未来的道路可能会“崎岖不平”，并非所有参与者都能在供需失衡的时刻生存下来。
Celesta Capital的创始管理合伙人、SambaNova Systems的投资人斯里拉姆·维斯瓦纳坦表示：“正如我在英特尔的老老板安迪·格鲁夫（Andy Grove）过去常说的，‘让混乱主宰世界，然后在混乱中统治。’”
他同意，未来几年对推理服务提供商来说，竞争将会非常激烈，但他相信，赢家将取决于实力。
维斯瓦纳坦表示：“核心创新不在于进入市场，而在于底层架构的性能和能力。”
许多通过出售代币进入人工智能市场的公司渴望获得更多代币。芯片设计师最终希望将芯片销售给超大规模企业，而不是人工智能初创公司。Foundry技术的最终版本也更为庞大。
“如果我们做好我们的工作，你知道，我们将成为每个GPU运行的核心部分，”戴维斯说。似乎所有的道路都通向推理。
休·兰利公司贡献了这篇报道。
有什么建议或见解要分享吗？请联系资深记者艾玛·科斯格罗夫（Emma Cosgrove）： ecosgrove@businessinsider.com或使用安全消息应用程序Signal: 443-333-9088
本文来自作者[一只云倾]投稿，不代表荣品号立场，如若转载，请注明出处：https://hdrpsteel.com/zehe/202412-834.html
评论列表（4条）
我是荣品号的签约作者“一只云倾”！
希望本篇文章《“让混乱统治”：人工智能推理成本即将大幅下降》能对你有所帮助！
本站[荣品号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览： 众多创业公司正积极进入人工智能推理市场。推理市场的竞争可能会导致人工智能价格下降，这对开发者是个好消息，但对云服务商来说则是个挑战。并非所有初创企业都能在即将到来的“动荡”...