由Bing画图生成
介绍在整个人类历史中，所有社会和经济的革命都是由颠覆性技术引发的。大约在12000年前，犁和灌溉系统的发明引发了农业革命。15世纪，古腾堡发明了印刷机，把整个欧洲从中世纪带入了文艺复兴时期。18世纪，詹姆斯·瓦特改进了蒸汽机，启动了工业革命。互联网彻底改变了交流、商业和信息访问的方式，让世界变成了一个小小的村庄，而智能手机则改变了人们与世界互动的方式。
现在我们正处于人工智能革命的时代。特别是，大型语言模型（LLMs）代表了技术上的巨大飞跃，无论是宏观还是微观层面，都带来了深远的经济影响。从重塑全球市场到催生新型货币，LLMs正在创造一个全新的经济格局。
AI 和 LLMs 正在改变行业，并且塑造新的经济范式，其原因简单而根本：这项技术能够自动化原本需要人类智能的常规和复杂任务，增强认知功能和决策能力，从而提高各个领域的生产效率。
这导致成本降低和效率提升，开发新产品以及将人力资源分配到更具创意和战略性的领域。这项技术颠覆了各个行业，从医疗保健到金融再到客户服务。大语言模型的出现正在催生全新的市场。由AI驱动的服务如内容生成和对话助手，很快就会成为主流，为初创企业和成熟企业都提供了新的机会。
这个系列的简介这是一篇系列文章的首篇。在本文中，我们将探讨这一新兴经济的宏观影响，揭示正在崛起的宏观经济支柱和力量，而在系列文章的第二部分，我们将深入探讨驱动LLMs的技术细节，并了解构成这一新LLM经济的货币——代币。
我们认为，只有真正理解这种颠覆性技术的比特和字节层面，才能真正理解并认识到推动这场正在崛起的全球经济的幕后推动力。我们希望这两篇文章能为你提供宏观层面和大型语言模型内部机制的深入理解，让你对正在发生的革命有更深的了解。
嗨，享受吧！
为何现在？为什么语言和人类智能有关？AI 并不是因为 ChatGPT 的出现才兴起，而是早在很久以前。我本人在 1999 年就已经开发了机器学习分类算法。正式来说，AI — 人工智能 — 早在 1950 年由计算机科学之父艾伦·图灵创造，他也是破解恩尼格玛密码的关键人物，这反过来使盟军能够击败纳粹，从而缩短了二战，拯救了数百万人的生命。
图灵首次提出了智能定义的形式化，通过演示所谓的图灵测试，如下面所示，将人类智能的定义与当今聊天机器人的体验结合起来。如下的_图1_所示，评估者与一台机器和一个人进行自然语言对话，而不知道哪个是机器哪个是人，如果评估者无法可靠地区分机器和人，那么这台机器就被认为通过了测试。令人惊讶的是，经过长达72年的缓慢人工智能研究，ChatGPT实际上通过了同样的测试，从而点燃了当前真正的人工智能热潮。
图1._图灵测试 . 来源:_维基百科 . 一位人类评估员与机器和人类进行自然语言对话，而不了解哪个是机器哪个是人的身份，如果评估者无法可靠地区分机器和人，那么该机器就被认为通过了测试.
有趣的问题是：为什么人类的智能大多与语言相关，而不是像视觉这样的其他方面？我们大脑中的70%的神经元分配给了视觉。OpenAI早就在推出其开创性的图像生成工具Dall-E时，就已经领先于ChatGPT，但这并没有引起同样的轰动。这是为什么呢？
瑞典翻译有误，正确应为： 瑞典 语言的演变修正后的翻译：
语言的演变答案很简单。人类语言的发展是人类在地球上占据主导地位的飞跃。更具体地说，正如尤瓦尔·赫拉利在他的畅销书《人类简史》中提到的，正是人类闲聊的能力和谈论抽象概念的能力使人类区别于其他物种。像闲聊这样的复杂交流，只能通过一种合适且共享的语言来实现。
人类的语言从古老的洞穴符号进化到了更高效的字母系统，这些字母系统与语法规则结合，构成了词汇量数千个词语的语言。在数字时代，词汇量进一步扩大，这是因为表情符号的使用。现在，随着GenAI的兴起，这些tokens已经成为语言进化中的最新基石。这些转变彰显了人类语言从原始符号到复杂数字表达的非凡演变。
在本系列的第二篇文章中，我们将深入了解大型语言模型（LLM）的内部机制，尤其是关于标记的部分。但在那之前，让我们先来了解一下LLM领域中新兴的经济因素。
LLM经济力量注：LLM此处指特定的法律硕士，但根据上下文可能指特定的经济概念，如需进一步解释请参考相关术语。
AI巨头之争卡尔·马克思和弗里德里希·恩格斯在其辩证唯物主义宣言中声称，谁掌握生产资料，谁就统治一切。所有的科技巨头们立刻意识到，AI将是未来的生产工具，并且对控制生产资料的争夺战已经拉开帷幕。
这场主导大模型市场之战非常激烈，主要参与者包括作为先驱的OpenAI，以及谷歌、微软和Facebook等科技巨头，还有新兴的法国Mistral、以色列AI21、以及美国埃隆·马斯克的xAI和Anthropic。每个参与者都致力于开发最强大和最高效的模型，这导致了一场技术竞赛。大模型行业呈指数级增长，吸引了数十亿美元的投资。例如，Anthropic公司总共筹集到了45亿美元的投资，由43个不同的投资者支持，其中包括关键天使投资人埃里克·施密特，以及亚马逊、谷歌和微软等巨头公司。
稀缺的 GPU同样，挖比特币就需要很多计算资源，而训练大型语言模型（LLMs）并从中生成大量的文本也需要巨大的计算能力。这迫切地推动了寻找更多能源的需求，比如微软最近投资核能[1]。
另外，作为驱动大型语言模型的核心硬件，GPU已经变得很难找到且价格昂贵[2]，进一步加剧了竞争。
[1]：https://www.reuters.com/markets/deals/constellation-inks-power-supply-deal-with-microsoft-2024-09-20
[2]：https://www.cnn.com/2023/08/06/tech/ai-chips-supply-chain/index.html
- 制造限制问题：由于半导体短缺、复杂的制造流程以及使 摩尔定律 触及极限的架构限制，GPU 的生产能力受到限制。
- 库存：大公司为了确保其 AI 运营顺利进行，采购了大量的 GPU，这使得小型企业难以获取这些关键资源，形成了竞争优势壁垒。
- 替代方案：面对英伟达 GPU 短缺的情况，公司正在探索不同的方案来解决问题，例如 GPU 共享 和其他替代方案。例如，谷歌开发了自身的 AI 芯片——张量处理器 (TPU)，还有新公司如 Groq 和 SambaNova 也开发了他们的优化 AI 芯片。这些创新旨在提供必要的计算能力，同时降低对传统 GPU 的依赖。除了基于硬件的创新和进展之外，新的替代架构也开始出现，以克服当前瓶颈并更好地利用现有资源。这方面的良好例子包括 投机性解码 用于优化推理，以及诸如 Mamba 和 专家混合模型 (MoE) 的结构化状态空间模型 (SSM)。
代币是新兴AI驱动经济中的新货币。就像传统经济中的货币是交易的媒介一样，代币是推动AI经济的货币。
那么，这些代币到底是什么呢？
在接下来的文章中，我们将深入探讨关于tokens的技术细节，而在本文中，我们将了解它们是什么，并从高层次的角度来探讨它们，主要是在商业和金融方面的内容。
虽然字符和单词是人类语言的基本单位，但对于大型语言模型（LLMs）来说，它们是介于两者之间的一种单位，称为tokens。Tokens是文本片段，代表在大型语言训练数据集中常见的字符序列。一个token可以是一个字符、一个单词的一部分（即子词），或者一个完整的单词。例如，‘? ’，‘os-car’（即将‘oscar’拆分为两个token，即‘os’ 和 ‘car’），以及完整的 ‘people’。
由于文本是大语言模型的材料，作为最小单位的标记既充当交易媒介，也充当度量单位，用来衡量大语言模型提供商的服务价值。
LLM公司投入数亿美元用于开发和训练LLM。这些LLM最终体现为令牌（tokens）。它们的质量、生成速度以及生成成本定义了LLM性能三要素：质量、速度和成本。
定价模式使用这些模型的成本通常基于处理的令牌数量，这与传统的货币交易有着直接的联系。不同的 LLM 提供商采用不同的定价策略，这些策略基于令牌的使用量。大多数 LLM 提供商对输入（提示）和输出（完成）token 收取不同的费用，这反映了生成它们所需的计算工作量和能源，以及这些 token 所提供的价值。
如果你是一位博主，并使用大型语言模型来帮助你撰写一篇3000字（约4000个token）的文章，那么你将支付少量费用，但如果你运行代理应用，这些应用可能在每次用户交互时调用约10次，或者如果你是一家像Wix.com这样的公司，该公司有超过2.5亿用户，并在其产品中嵌入AI，包括AI网站构建器，那么你可以想象每月的AI服务费用会有多高。
LLM提供商之间的竞争非常激烈。再加上像Llama-3.1这样的开源和开放权重模型的不断扩大和性能提升，价格也随之持续降低。例如，OpenAI在过去的1年半内将其GPT-4的价格大约降低了约80%（如图2所示）。这种持续的趋势让公司能够开发出更多基于AI的产品。
有两个主要资源我们推荐用于比较不同供应商的每令牌费用：Artificial Analysis（也得到了 Meta 最近发布的 Llama 3.1 的推荐）和 HuggingFace，这个对比工具非常方便。
图2—来自此处
上下文窗口
最近，在上述三元组中增加了一个新的度量标准——上下文窗口，即输入提示的长度。为什么这很重要？
- 首先，为了展示你拥有最大的上下文窗口！我的上下文窗口越大，我就越强大。
- 其次，尽管 仍然有限制，，更大的上下文窗口可能开启新的功能，例如无需 RAG 的问答应用。
- 第三，新兴的替代 Transformer 的技术，如 Mamba，强烈表明了对更长上下文窗口的需求增加。这些技术解决了 Transformer 的二次复杂度问题，这一问题限制了它们支持大型上下文窗口的能力。
- 第四，也是最重要的一点，更大的上下文窗口允许用户输入更多令牌，这反过来带来了更高的收入，就像我们之前所见的那样。
大型语言模型（LLMs）的出现引发了新的社会变革，促进了人与AI之间的交流互动。随着LLMs能力的提升，将围绕它形成一个全新的经济生态系统，加速开发前所未有的新市场和能力。
虽然该系列的第一篇文章为我们提供了一个高层次的概览，介绍了围绕LLM的新经济及其财务和社会影响，但在接下来的文章里，我们将卷起袖子深入探讨驱动LLM的技术细节，以及这种新LLM经济的货币——代币。