Llama 3 可能很快就会推出，并提供更大的上下文窗口等增强功能，以与 Gemini 等顶级人工智能竞争对手相媲美。

考虑到 Mixtral 的 MoE 系统，Llama 3 可能会采用类似的方法来优化计算效率。

Llama 3 预计将升级多语言支持和多模式，以更有效地满足更广泛的用户群。

自 ChatGPT 启动以来，人工智能 LLM 竞赛一直在缓慢升温。我们已经看到谷歌的 Bard 变成了 Gemini，微软的 Bing Chat 变成了 Copilot，我们还看到 Meta 发布了任何人都可以在自己的计算机上运行的开源 Llama 2 模型。现在，随着竞争的进展，Meta 预计将在今年晚些时候推出 Llama 3，据报道，最快可能在 7 月推出。

因此，我们希望在 Llama 3 发布时看到它有许多改进，以使其跟上竞争对手的步伐。这些是我们最想要的一些功能和改进。

上下文窗口本质上是法学硕士在任何给定时间可以“看到”的量，而 Gemini 如此强大的部分原因在于它能够拥有多达 1000 万个令牌的上下文窗口。虽然所需的内存量是荒谬的，但更大的上下文窗口仍然会令人惊叹。根据 LlaMa 2 的模型卡，它目前的上下文窗口只有 4K 个令牌，即使在其 70B 参数模型下也是如此。这并不是很多背景信息，并且与目前的产品相比，LlaMa 2 处于巨大的劣势。

正如已经提到的，这里存在内存限制，但是这方面的进步可能使得 Meta 至少可以增加上下文窗口，即使它不会接近 GPT-4 的 32K 限制。