Llama3全套学习资料

2024-04-28 2,225 0

该网页是 Llama 中文社区官方发布的关于 Llama3 的最新学习资料,包括 Meta 官方 Llama3 发布、博客、文档、HuggingFace 模型参数下载、Llama 中文社区 Llama3 在线体验和百度云下载链接。同时,该网页还提供了 Llama3 模型的详细信息,包括模型是一个自回归语言模型,使用了改进过的 Transformer 架构,指令微调版本采用了监督式微调和基于人类反馈的强化学习来对齐模型的有用性和安全性,8B 模型和 70B 模型均采用了分组查询注意力机制来提高模型推理的可扩展性,Llama 3 在超过 15 万亿个分词的公开数据上进行了预训练,微调数据包括了公开的指令数据集,以及超过 1000 万个人类标注的示例,预训练和微调数据集都不包括 Meta 的用户数据,8B 模型的预训练数据的截止日期为 2023 年 3 月,70B 模型为 2023 年 12 月。

# 要点

- Meta 官方 Llama3 发布:<https://llama.meta.com/llama3>
- Meta 官方 Llama3 博客:<https://ai.meta.com/blog/meta-llama-3>
- Meta Llama 全系列模型官方文档:<https://llama.meta.com/docs/get-started>
- HuggingFace 模型参数下载:<https://huggingface.co/collections/meta-llama>
- Llama 中文社区 Llama3 在线体验:<https://llama.family/chat/#/>
- Llama3 百度云下载链接:<https://pan.baidu.com/s/1gBZ7wEn3gC8VRok0Onh9BQ?pwd=8frq>
- Llama 3 是一个自回归语言模型,使用了改进过的 Transformer 架构。指令微调版本采用了监督式微调和基于人类反馈的强化学习来对齐模型的有用性和安全性。
- 8B 模型和 70B 模型均采用了分组查询注意力机制来提高模型推理的可扩展性。
- Llama 3 在超过 15 万亿个分词的公开数据上进行了预训练。微调数据包括了公开的指令数据集,以及超过 1000 万个人类标注的示例。预训练和微调数据集都不包括 Meta 的用户数据。
- 8B 模型的预训练数据的截止日期为 2023 年 3 月,70B 模型为 2023 年 12 月。

链接:https://chinesellama.feishu.cn/wiki/space/7257824476874768388

版权说明:

本文为DemoChen收集的互联网信息,然后手动编写整理,未经许可,不可转载

本文链接:https://www.dochub.wiki/llama3quantaoxue/

相关文章

医保怎样用最省钱?
运营人常用的1000套方案
提示词0-1入门到入土,无痛编写提示词
红衣教主周鸿祎-企业如何拥抱 AI
面向设计师的Chrome 开发者工具 知识
AI作品《Devices》创作复盘
英语提升指南
Kimi 学习手册

发布评论