闭源模型的统治时代将迎来完结 Llama3.1系列模型正式开源 最大405B

Meta开源了Llama3.1系列模型，最大参数规模为405B，开源也是好起来了，榜单目的直逼GPT4-o。

开源追上闭源模型不再是梦！Llama系列模型确实是开源界的头部，真金白银砸进去的就是不一样。

不过如今大家也都知道，榜单成果和实在经常使用成果也不是齐全正比的，前面看看对lmsys战榜单，还有大家的实测成果吧！

HF:

 Llama3.1系列模型细节





 Llama3.1系列模型成果


 Llama3.1系列的8B和70B模型的成果，广泛好于Llama3系列模型。尤其是Instruct模型优化较高，特意是通用、代码、数学和工具经常使用四个方面，大幅提高；额外减少的分解数据，应该是主要。




 模型经常使用


 Llama3-405B模型全体结构没有变动，一切间接transformers走起。

import transformersimport torchmodel_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"pipeline = transformers.pipeline("text-generation",model=model_id,model_kwargs={"torch_dtype": torch.bfloat16},device_map="auto",)messages = [{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},{"role": "user", "content": "Who are you?"},]outputs = pipeline(messages,max_new_tokens=256,)print(outputs[0]["generated_text"][-1])

 当然为了减速或许节俭显存，也可以vllm、ollama、llamacpp等框架来加载量化模型，这里就不具体引见了。


 写在最后


 不过405B模型太大了，部署老本太高了，即使成果很棒，但有多少企业有资历玩一把呢？


 团体玩家就更不用说了，光模型大小就820G，别说有没有显卡，兴许都没有820G磁盘空间下载都没资历，太难了！


 不过前面各大平台（阿里、百度、SiliconFlow）应该会有调用API，到时刻体验成果也不麻烦儿。


 又有新上班可做了，应该很快会有Chinese-Llama-3.1上班进去，没资源的小同伴，等就完事儿了。


 最后，Qwen系列是不是也要加把劲了，都给我卷起来！​


 本文转载自​​，作者：