本地部署人工智能模型，不仅通过重视和利用资源赋予个人权力，而且还培育出更加分散和民主的数字生态系统。也就是说，不仅增强了隐私和安全性，还引入了个人计算作为数字时代潜在货币的有趣概念。
Ollama是一个易用的本地语言模型运行框架，可以一键启动并运行Meta Llama 3、Microsoft Phi 3、Google Gemma 2和其他更多开源语言模型（官方模型库也是一份很棒的开源语言模型清单，和NVIDIA提供的最受欢迎的基础模型列表一样，总是汇总支持的最新模型信息），并支持自定义模型导入。Ollama旨在简化在本地硬件上运行大型语言模型的过程，支持GPU加速以提升推理性能。本文基于 Windows 11 + 64 GB + RTX 2080 Ti + Llama 3.x + Cherry Studio 实践。
在台北举行的 2024 年度 Computex 大会上，英特尔、AMD 和 Nvidia 展示了其最新的数据中心和 AI 套件，并让人对各自路线图的下一步发展有了初步了解。
最令人吃惊的更新之一来自 Nvidia
去年，我们了解到这家 GPU 设计公司正在加快其开发周期，以支持每年一次的发布节奏。在台北的舞台上，Nvidia 首席执行官黄仁勋向我们详细介绍了这家芯片制造商的计划，包括其下一代 GPU 和系统架构的名称 - Rubin。
Nvidia 的路线图现已延伸至 2027 年，其中包括 2026 年推出的全新 Rubin GPU 和 Vera CPU
虽然我们经常关注芯片本身的规格和功能，无论是 H100、GB200 Superchip 还是其 Blackwell Ultra 兄弟，但重要的是要记住这些组件并不是您可以从货架上取下来的独立部件。Nvidia 最高端的加速器不是 PCIe 卡；它们是整个平台。
Raspberry Pi 5 是一款小而强大的计算机，在科技爱好者和工业公司中颇受欢迎，现在它也是一款人工智能计算机。该公司刚刚发布了AI Kit，这是一款价值 70 美元的扩展套件，带有神经网络推理加速器，可用于本地推理。
对于这个新的扩展模块，Raspberry Pi 正在利用其 HAT+ 扩展卡。HAT 是"Hardware Attached on Top"的缩写，公司一直用它来表示可以安装在普通 Raspberry Pi 上的扩展卡。
在 NVIDIA GTC 2024 主题演讲中，黄仁勋推出了Blackwell B200 张量核心芯片，这是该公司最强大的单芯片 GPU，拥有 2080 亿个晶体管，Nvidia 声称该芯片可以将 AI 推理运营成本（例如运行ChatGPT）和能耗比前辈H100降低多达 25 倍。该公司还推出了 GB200，这是一款“超级芯片”，结合了两个 B200 芯片和一个 Grace CPU，可提供更高的性能。
这一消息是 Nvidia 年度 GTC 会议的一部分，该会议将于本周在圣何塞会议中心举行。英伟达首席执行官黄仁勋周一下午发表了主题演讲。“我们需要更大的 GPU，”黄仁勋在主题演讲中说道。他说，Blackwell 平台将允许训练万亿参数的人工智能模型，这将使当今的生成式人工智能模型相比之下显得很初级。作为参考，OpenAI 于 2020 年推出的 GPT-3 包含 1750 亿个参数。参数数量是 AI 模型复杂性的粗略指标。
《哈佛商业评论》在 2017 年发表过一组大创意系列文章，包括Erik Brynjolfsson和Andrew McAfee写的《真实的人工智能》。在那个仅有AlphaGo战胜人类围棋选手一条关键词新闻的年度（而不是“人工智能元年”或者今天），这篇文章对人工智能的分析值得回顾。
250多年来，经济增长的根本动力一直是技术创新。其中最重要的是经济学家所说的通用技术——这一类别包括蒸汽机、电力和内燃机。每一个都催生了互补性创新和机遇的浪潮。例如，内燃机催生了汽车、卡车、飞机、链锯和割草机，以及大型零售商、购物中心、越库仓库、新的供应链，而且，当你想到这一点时，郊区。沃尔玛、UPS 和 Uber 等多元化公司都找到了利用该技术创建有利可图的新商业模式的方法。
