美利体育登录入口官网:GB/T 42382.2-2026
信息技术 神经网络表示与模型压缩 第2部分：大规模预训练模型
Information technology - Representation of neural networks and model compression - Part 2: Large-scale pre-trained models
GBT42382.2-2026, GB42382.2-2026
2026-11-01
正版授权中国标准出版社正式授权销售可通过授权方官方渠道验证
- 标准号
- GB/T 42382.2-2026
- 别名
- GBT42382.2-2026, GB42382.2-2026
- 发布
- 2026年
- 国际标准分类(ICS)
- 35.040 字符集和信息编码
- 总页数
- 59页
- 发布单位
- 国家市场监督管理总局
- 当前最新
- GB/T 42382.2-2026
- 引用标准
- GB/T 42382.1-2023 GB/T 5271.34-2006
- 本体
- 转换器
- 适用范围
- 本文件规定了适应多种计算机要求的大规模预训练的表示、压缩表示和封装表示，以及其对应的压缩流程、适配流程、封装流程和模型传输与分发。本文件适用于大规模预训练模型的研制、开发过程，以及在端云领域的高效应用。注：对于本文件规定的表示与模型压缩方法不要求机器学习框架原生支持，均通过转换、工具包等形式支持。
| 术语 | 描述 |
|---|---|
| 预训练模型 pre-trained model | 通过自监督或者无监督技术，在大量的训练数据上训练得到初始模型，能被迁移到目标相近的任务中进行使用的一种深度学习模型。 |
| 大规模预训练模型 large scale pre-trained model | 大模型 large scale model；大规模深度学习模型 large-scale deep learning model；基于大量数据训练得到，具有复杂计算架构，能够处理复杂任务，且具备一定泛化性的深度学习模型。注：大模型的参数量由其功能和模态决定，一般不低于1亿。大模型训练使用的数据总量受参数量的影响，达到收敛的大模型的参数量的对数与其训练数据总量的对数成正比。 |
| 转换器 transformer | 基于多头注意力机制，包含残差连接、层归一化和全连接的、能并行处理序列数据的、序列到序列架构的网络。 |
| 自注意力 self-attention | 通过计算输入序列内部每个元素对其他所有元素的注意力权重，建立序列内部的不同位置间关系的机制。 |
| 多头注意力 multi-head attention | 大规模预训练模型中利用多个参数量进行注意力计算机制。 |
| 层归一化 layer normalization | 对一个中间层的所有神经元或一个位置的特征进行归一化。 |
| 前馈网络 feedforward network | 神经网络中的推理模型。 |
| 量化 quantization | 将神经网络中的权重、激活值等高精度浮点数转换为较低比特宽度的数值表示 (如 INT8)，以减少模型体积、加快推理速度并尽可能保持神经网络预测精度的算法。 |
| 剪枝 pruning | 移除神经网络中冗余或重要性较低的结构 (如权重、节点或通道)，以减小模型规模、加快推理速度并降低计算成本的神经网络压缩和加速算法。 |
美利体育登录入口官网: GB/T 42382.2-2026 中提到的仪器美利体育官网首页网址
| intel Ngraph | 第三方高效计算引擎，用于执行合并后的操作节点。 |
| Nvidia TensorRT | 第三方高效计算引擎，用于执行合并后的操作节点。 |