AI领域初创公司“百花齐放”，“大模型路由”成最新方向。
除了少数几家公司外，大部分人工智能初创公司通常分为两大阵营。第一类使用单一的大语言模型（LLM），例如OpenAI的GPT-4，为其应用提供动力。这些初创公司通常都筹集了数百万美元的风险投资，它们往往会追求最顶级、性能最高的模型。
目前商用LLM数量正不断增加，仅在Hugging Face 上就有至少30万种可供选择。随着开源模型的激增，越来越多的公司开始使用另一类模型“大模型路由”，即将更简单的查询路由到更便宜、功能稍弱的模型上，帮助公司降低成本，同时还能规避OpenAI的费率限制。
例如，帮助公司分析客户对话和员工绩效的初创公司 Pathlight 就使用了来自OpenAI、Anthropic 和 Meta Platforms 等供应商的十几个LLM。Pathlight的联合创始人兼首席执行官Alex Kvamme指出，为了弄清客户取消合同的原因，Pathlight 可能会使用更擅长复杂推理任务的GPT-4，而简单的总结请求则可以由开源模型来处理。
Pathlight和许多其他初创公司都开发了自己的系统，根据客户请求的性质决定使用哪种模型。而事实证明，也有新的初创公司在为其他人工智能初创公司自动执行这一模型分配过程。
据媒体周二报道，一位风险投资者指出，最近一周内就有四五家初创公司向他们投递了类似的产品。
其中一家名为Martian的模型路由初创公司评估了各种 LLM处理相同查询的准确性、成本和速度，从而决定哪种LLM最适合哪种类型的请求。Martian 指出，它将包括 GPT-4 在内的各种LLM“转换”为更简单的模型架构，以便更好地进行评估。
Martian联合创始人Yash Upadhyay去年毕业于宾夕法尼亚大学，获得计算机科学学士学位，他不愿透露其公司有多少付费客户，但他说公司每天要处理100多万个模型路由请求。他说，Martian的一些客户可能对成本比较敏感，而另一些客户则把速度看得比什么都重要。
这一领域的其他初创公司，如位于Autumn8，则协助企业对人工智能模型进行更广泛的评估，而不是帮助将客户请求实时路由到不同的模型。这家拥有 10名员工的初创公司已经从家族办公室Sage Hill Investors筹集到了200万美元的资金。
Khosla Ventures合伙人Kanu Gulati对此表示，如果模型选择和路由对人工智能初创企业来说变得至关重要，亚马逊云科技等云服务提供商或像Hugging Face这样的模型中心很可能会提供这些服务。但这些云提供商通常也会销售自己的LLM，因此初创公司可能会认为他们不能保持中立。
分析指出，模型选择和路由初创公司的迅速崛起表明，创业者对人工智能公司的感知需求做出反应的速度有多快。虽然尚不清楚模型路由初创公司是否会成为风险投资支持的企业，但它们的出现是该行业一个充满希望的信号。这意味着企业在人工智能模型的成本上正努力做到更周到、更有成本意识。
本文来自华尔街见闻，欢迎下载APP查看更多
评论(0)