随着最近推出的许多大型语言模型,包括特定于印度的模型,谷歌支持的Slang Labs正在选择混合模型,以充分利用每个LLM。它还将在明年上半年发布自己的一些开源LLM版本,这些版本将针对领域和印度进行优化。
该公司提供的语音助手可以嵌入到电子商务或银行等流行应用程序中。该公司的客户包括 Nykaa、ICICI Direct、Tata Digital、Bigbasket 的 Fresho 等。
目前,该公司正在将 OpenAI 用于其语音助手。Slang Labs 的联合创始人 Kumar Rangarajan 表示,他们已经开始微调开源 LLM,如 Meta 的 LLaMA 和法国的生成式人工智能初创公司 Mistral AI 的 LLM,最终为其语音助手 CONVA 提供混合 LLM 模型。
“LLM 有三层——第一层称为基础 LLM,它通常使用大量互联网数据和用于通用的不同语言数据进行训练。这个模型有很好的理解力,但没有经过训练成为一个好的助手。如果你提出问题,它将无法以适当的方式回答它们。
虽然它有很多知识,但正确回答并不是那么聪明,因为它在遵循指示方面非常糟糕,“兰加拉詹说。
制作基础模型是一项昂贵的提议,因为大部分成本都花在了其中。
制作基础模型是一个昂贵的提议,因为大部分成本都花在了它们身上。下一层是预训练层,系统在其中学习什么是正确的答案,什么是错误的答案。当有多个答案时,它学会分辨哪个答案。有很多技术可以确保模型能够给你正确的答案。
第三层是微调,LLM 经过训练以正确回答。它经过微调,使其适合特定用例。“像我们这样的人或其他像我们这样的公司可以采用这种较低级别的模型,并针对特定目的或用例构建和优化它。我们正在从 LLaMA 和 Mistral 中获取基础模型,并对其进行预训练和微调,“Rangarajan 解释道。