Groq正在采取一种新颖的方式与英伟达备受赞誉的CUDA软件竞争。

　　这家芯片初创公司利用免费的推理层吸引了数十万名人工智能开发者。

　　Groq的目标是通过更快的推理和全球合资企业来夺取市场份额。

　　关于英伟达的竞争护城河，人们展开了激烈的辩论。一些人说，在向一项回报仍不确定的技术投资数十亿美元时，人们普遍认为这是一个“安全”的选择。

　　许多人说，这是英伟达的软件，尤其是CUDA，该公司在人工智能繁荣之前几十年就开始开发了。CUDA允许用户最大限度地利用图形处理单元。

　　竞争对手也试图制造类似的系统，但没有英伟达的领先优势，很难让开发人员学习、尝试并最终改进他们的系统。

　　然而，Groq是英伟达的竞争对手，早期专注于人工智能计算领域，这一领域对直接编程芯片的需求较少，投资者对此很感兴趣。这家成立8年的人工智能芯片初创公司在8月份的6.4亿美元D轮融资中估值28亿美元。

　　Groq的“首席技术传道者”马克?希普斯表示，尽管至少有一位投资者认为像Groq这样的公司试图削弱英伟达约90%的市场份额是“疯狂的”，但这家初创公司一直在开发自己的技术，正是为了迎接2025年即将到来的机遇。

　　希普斯说：“我们决定把我们所有的计算能力，通过云实例提供给全世界，免费提供。”团队内部称这一策略为“释放野兽”。Groq的免费套餐以每天的请求数或每分钟的代币数为上限限制用户。

　　希普斯、首席执行官、前谷歌员工乔纳森?罗斯和一个相对精简的团队，将在2023年和2024年招募开发人员试用Groq的技术。通过黑客马拉松和竞赛，该公司做出了一个承诺——通过Groq的云平台免费试用硬件，并打破你与别人接触到的壁垒。

　　根据人工分析的排名，Groq提供了一些最快的推理。Ai，它衡量允许用户通过代币或输出购买特定模型的公司的成本和延迟。

　　推理是一种计算类型，它为大型语言模型的查询生成答案。训练是一种更耗能的计算，正是这种训练赋予了模型回答问题的能力。到目前为止，用于这两项任务的硬件是不同的。

　　希普斯和他在Cerebras和SambaNova Systems等公司的几位挑战英伟达的同事表示，速度是一种竞争优势。

　　他说，在推理服务免费提供后，开发人员突然冒了出来，他们的项目在速度较慢的芯片上无法取得成功。有了更快的速度，开发人员可以通过多个模型发送一个请求，并使用另一个模型选择最佳响应——所有这些通常只需要完成一个请求所需的时间。

　　希普斯表示，目前大约有65.2万名开发者在使用Groq API密钥。

　　希普斯希望速度能够吸引Groq上的开发者。但它为芯片编程的新计划，为该公司提供了一种独特的方法，以应对英伟达“护城河”中最关键的元素。

　　希普斯说：“每个人一旦部署了模型，就需要以更低的成本进行更快的推理，这就是我们关注的重点。”

　　那么CUDA的对应版本在哪里呢？都是公司内部的。

　　“实际上，我们的编译器中内置了1800多个模型。我们不使用内核，也不需要人们使用CUDA库。正因为如此，人们可以开始使用内置的模型，”希普斯说。

　　他说，培训需要在芯片层面进行更多的定制。在推理中，Groq的任务是为客户选择正确的模型，并确保它们尽可能快地运行。

　　他补充说：“你所看到的是，大量开发人员正在开发人工智能应用程序——他们不想在芯片层面上编程。”

　　这种策略伴随着一定程度的风险。Groq不太可能像CUDA那样积累一批不断解决问题和改进其基础软件的开发人员。它提供的服务可能更像是餐馆的菜单，而不是杂货店。但这也意味着Groq用户的准入门槛与其他云提供商一样，可能比其他芯片的门槛更低。

　　希普斯说，虽然Groq最初是一家拥有新颖芯片设计的公司，但如今该公司约有300名员工，其中60%是软件工程师。

　　他说：“对我们来说，现在有一个价值数十亿美元的新兴产业，我们可以在其中占据很大的市场份额，与此同时，我们继续使编译器成熟。”

　　尽管Groq对近期的发展持现实主义态度，但它有着远大的抱负，其董事会首席执行官乔纳森?罗斯（Jonathan Ross）将其描述为“提供了全球一半的推论”。罗斯还表示，目标是在全球撒下一张网——通过合资企业来实现。沙特阿拉伯也在路上。加拿大和拉丁美洲正在筹备中。

　　今年早些时候，Ross告诉BI，该公司还有一个目标，到明年第一季度出货10.8万个语言处理单元或lpu，到2025年底出货200万个芯片，其中大部分将通过云提供。

　　有什么建议或见解要分享吗？联系Emma: ecosgrove@businessinsider.com或使用安全消息应用程序Signal: 443-333-9088