2021年8月

特斯拉展示DOJO D1芯片,旨在征服人工智能训练


从无数的初创公司,一直到亚马逊、百度、英特尔和英伟达等大公司,许多公司为 AI 工作负载构建专用集成电路(Application-specific integrated circuit,ASIC)。

Tesla DOJO D1 Chip

2021 年 8 月 19 日,特斯拉在 AI 日(Tesla AI Day,Youtube全程视频,那人从47分钟开始观看)上推出人工智能训练计算机 DOJO D1 芯片,D1 芯片是台积电在 7nm 半导体节点上打造的产品。该芯片包含超过 500 亿个晶体管,拥有 645mm^2 的巨大裸片尺寸。


浮点数的双精度、单精度和半精度


浮点数是计算机上最常用的数据类型之一,有些语言甚至数值只有浮点型(如Perl,Lua)。常用的浮点数有双精度、单精度和英伟达提出的半精度。双精度和单精度是为了计算,而半精度更多是为了降低数据传输和存储成本。

images.png

很多场景对于精度要求也没那么高,例如分布式深度学习里面,如果用半精度的话,比起单精度来可以节省一半传输成本。考虑到深度学习的模型可能会有几亿个参数,使用半精度传输还是非常有价值的。