QIN

2024 年 LLM 推理成本下降 10 倍？

Qin — Fri, 23 Aug 2024 02:28:59 GMT

“比行业同类产品便宜90%”“两款产品免费”“全线降价”——近日，字节、百度、阿里云、智谱AI等国内大模型领军企业纷纷宣布调降生成式人工智能大模型（以下简称“大模型”）产品和服务使用价格，不少大模型产品价格降幅达50%以上，有的产品价格降幅甚至超过90%。

奥特曼：GPT-3是我们推出时间最长、优化最久的模型，在它推出的三年多时间里，我们已经将其成本降低了40倍……至于GPT-3.5，相信我们已经将其成本降低了近10倍。GPT-4是新产品，所以我们还没有那么多时间来降低成本，但我们会继续努力。我认为，在我所知道的所有技术中，我们的成本下降曲线是最陡峭的。

今年为什么 LLM 成本会下降？个人推测主要是：

量化
Moe、DeepSeek 等 MLA 结构
KVCache
Continuous batch 、vLLM 这类
...量化。

MoE 和 DeepSeek 这个结构为什么会有用？已知：

正确的知识提取能力需要在预训练阶段进行学习，而无法仅通过微调阶段来完成。这意味着在预训练阶段必须增加针对知识提取任务的数据增强（Data Augmentation）才能实现。该结论适用于各种模型大小、架构、微调方式、训练方式和超参数。幸运的是，并不需要对所有数据都进行数据增强才能实现知识提取能力的学习。该能力的学习在不同知识上、不同热度的知识上的学习具有可迁移性。由于热门知识在实际数据中经常以多种表达方式存在，因此在这方面我们有一些免费午餐。BERT类双向模型即使通过数据增强也无法学习到这一能力。
LLM 的知识存储能力只与模型参数量有关，而与模型结构、深度、训练超参数等都无关，甚至即使去掉MLP层也是如此。以 MoE 结构的 Mixtral of experts 为例，https://mistral.ai/news/mixtral-of-experts/：
如果我们用 8 个 7B 模型组成一个 MoE 模型，合计参数是 46.7B （有一些公共的层）。那它的知识存储量是 46.7B。
Mixtral 8x7B的参数总量并非简单的“8 X 7 = 56B”的参数量，但因为实际上独立存在的仅有各个层当中的专家网络，即FFN部分，而其余的例如Attention层则是共享参数，因此实际上只有47B左右的参数总量。
实际使用时调用参数量 12.9 B，运算量为知识容量的 27.62%，小学生都能听得懂的话来说既能打得过 46.7 B 以下的模型又只要 12.9 B 的算力。KV Cache，生成式generative模型的推理过程很有特点，我们给一个输入文本，模型会输出一个回答（长度为N），其实该过程中执行了N次推理过程。即GPT类模型一次推理只输出一个token，输出token会与输入tokens 拼接在一起，然后作为下一次推理的输入，这样不断反复直到遇到终止符。在上面的推理过程中，每 step 内，输入一个 token 序列，经过 Embedding 层将输入 token 序列变为一个三维张量[bs, seq_len, embed_dim]，经过一通计算，最后经 logits 层将计算结果映射至词表空间，输出张量维度为[bs, seq_len, vocab_size]。当前轮输出 token 与输入 tokens 拼接，并作为下一轮的输入 tokens，反复多次。可以看出第 i+1 轮输入数据只比第 i 轮输入数据新增了一个token，其他全部相同。因此第 i+1 轮推理时必然包含了第 i 轮的部分计算。KVCache 的出发点就在这里，缓存当前轮可重复利用的计算结果，下一轮计算时直接读取缓存结果。简单来说 KV Cache 优化了 Attentions 和 MLP 层的运算，以 MLP 为例，原来是 [1, 序列长度, 向量纬度]，使用 KVCache 之后是 [1, 1, 向量维度]。为什么叫 KV Cache？Attention 中有 Q、K、V，但 Q 只用到了最后一个 Token，不需要缓存。效果例子：对于最大长度是 2048 的 LLaMa-7B fp16 模型，服务端每创建 1 个并发，都需要大约 1030MB 显存保存 kv_cache，所以这个作者尝试叠加量化。

KV Cache 的问题是，它很大、老在变。可能用户这次有一样的上文，下次就开个新会话就不需要上次生成的缓存了。人话来说 KV Cache 是显存换速度，但存的不一定有用。

实验证明大约只有 30% 左右的KVcache被用于实际的推理请求服务中。显存的浪费情况极其严重，亟待解决！。vLLM 提出了 PageAttention。相关文章多，不讨论。如下图动画所示：

所以我们可以灵活的根据 block table 来进行相同空间的复用，不同解码分支共享同一前序资源等操作，达到显存占用的减少和服务请求数的提升。Continuous Batching 可以进一步提升吞吐量，数据如下：

vLLM（KVCache 升级版） + Continuous Batching 可以提升 20 倍 +。推理降价的倍数大概就是这么来的。

抖音：Interest Clock 论文解读

Qin — Mon, 10 Jun 2024 01:48:23 GMT

抖音最近发布的 Paper 《Interest Clock: Time Perception in Real-Time Streaming Recommendation System》中，发现用户的偏好是动态的并且随时间波动。例如，在短视频平台中，用户可能会在早上喜欢新闻视频，而在晚上则喜欢娱乐视频。在音乐平台上，用户喜欢早上听DJ，晚上听催眠音乐。因此，使推荐模型能够感知时间信息，为用户提供时间感知的个性化服务，从而显着改善用户体验非常重要。

早期的推荐系统采用每日训练框架，收集一天的所有样本，并将其打乱进行训练。时间编码方法在日常训练框架中效果很好。但现代的推荐模型一般会采用实时训练，比如抖音是每分钟训练一次，这种训练方案下某一时刻的所有训练样本都具有相同的时间特征，而推荐系统每小时能够产生数千万个样本，这导致推荐模型只拟合当前的时间特征而忘记其他时间信息（常说的灾难性遗忘）。

如果将 24 小时的个性化用户兴趣编码到时钟中，在某一时刻，不同的用户有不同的时间感知偏好嵌入，可以覆盖整个特征空间。因此，该方法可以解决实时流式推荐系统中时间编码方法的周期性在线模式和不稳定问题。

论文选取的同类 or 参考的论文有：

时间编码相关，将一天中的小时和一周中的某一天编码为小时嵌入和日嵌入。然而，时间编码方法将时间转换为离散嵌入，这在现代实时流推荐系统中无法工作。：

《User Consumption Intention Prediction in Meituan》Yukun Ping, Chen Gao, Taichi Liu, Xiaoyi Du, Hengliang Luo, Depeng Jin, and Yong Li. 2021.
《Automatically Discovering User Consumption Intents in Meituan》Yinfeng Li, Chen Gao, Xiaoyi Du, Huazhou Wei, Hengliang Luo, Depeng Jin, and Yong Li. 2022.

时间段划分，将一天分为四个时段，包括早上、中午、晚上和昨晚，并针对不同时段使用不同的图模型，这在其他场景中很难部署。：

《Deep interest network for click-through rate prediction》Guorui Zhou, Xiaoqiang Zhu, Chenru Song, Ying Fan, Han Zhu, Xiao Ma, Yanghui Yan, Junqi Jin, Han Li, and Kun Gai. 2018.

工业领域采用顺序方法对时间间隙进行编码：

《Personalized top-n sequential recommendation via convolutional sequence embedding》Jiaxi Tang and Ke Wang. 2018.
《Deep interest network for click-through rate prediction》Guorui Zhou, Xiaoqiang Zhu, Chenru Song, Ying Fan, Han Zhu, Xiao Ma, Yanghui Yan, Junqi Jin, Han Li, and Kun Gai. 2018.
《Search-based user interest modeling with lifelong sequential behavior data for click-through rate prediction》Qi Pi, Guorui Zhou, Yujing Zhang, Zhe Wang, Lejian Ren, Ying Fan, Xiaoqiang Zhu, and Kun Gai. 2020.
《TWIN: TWo-stage Interest Network for Lifelong User Behavior Modeling in CTR Prediction at Kuaishou.》Jianxin Chang, Chenbin Zhang, Zhiyi Fu, Xiaoxue Zang, Lin Guan, Jing Lu, Yiqun Hui, Dewei Leng, Yanan Niu, Yang Song, et al. 2023.

这篇论文主要提出了一种兴趣时钟方法来感知流推荐系统中的时间信息：

将 24 小时按小时分割计算用户过去的兴趣，并将时间感知特征存储在样本中。
时间感知特征是离散的，一个特征对应于每一小时。
通常来说用户的兴趣不会突然改变，比如 7:59 和 8:01 之间不太可能出现显著差异，但如果突然大变很难进行处理。为了解决突变的问题还引入了经验高斯分布对24小时的利息时钟特征进行平滑和聚合。

论文中的实验主要是使用推荐领域常见的二分类任务（即点击或不点击），交叉熵损失常被用作二元分类的优化目标。Baseline 是未改进的基于 DCN-V2 的多任务模型。完成的模型是结合兴趣时钟和 DCN-V2 的多任务模型的新模型。离线评估中使用 AUC 和 UAUC 作为离线指标。

评估方式分为离线和在线评估：

离线评估，使用 DouyinMusic-20B：抖音提供音乐推荐服务，日活跃用户超过 1000 万。我们从印象日志中收集并获得一个数据集。该数据集包含超过 200 亿个样本，记为 DouyinMusic-20B。工业数据集的每个样本包含一百多个特征，包括非 ID 元特征（性别、年龄、流派、心情、场景等）和基于 ID 的个性化特征（用户 ID、物品 ID、艺术家 ID），交互的 ID 序列），它可以代表现实世界的场景。我们使用“完成”作为标签。 DouyinMusic-20B 数据集包含 2023 年 8 月到 9 月 8 周时间跨度的抖音音乐样本。然后，我们将前6周作为训练集，接下来的 1 周作为验证集，剩下的 1 周作为测试集。我们采用 AUC 和 UAUC 作为离线指标。我们使用 Naive、Adaptive 和 Gaussian Interest Clock 来替代基于在线基线 DCN-V2 的多任务模型中的时间编码方法。工业数据集上的实验结果如表2所示。结果进一步揭示了一些富有洞察力的观察结果。高斯兴趣时钟可以显着优于最佳基线。自适应时钟的 UAUC 比基线差，原因可能是流式推荐系统中时间信息的自适应权重很难学习。我们发现高斯时钟优于朴素时钟，这表明经验高斯权重是有效的。

在线评估，使用在线 A/B 测试 (EQ1)。为了验证 Interest Clock 给我们的系统带来的真正好处，我们针对抖音音乐 App 的排名任务进行了一个多月的在线 A/B 测试实验。我们根据两个主要指标（活跃天数和持续时间）评估模型性能。我们还采用其他指标来评估用户参与度，包括喜欢、完成、评论和播放，这些指标通常用作约束指标。我们将提出的兴趣时钟应用于基于 DCN-V2 的多任务模型（Wang 等人，2021），该模型部署在在线排名任务中。

低活跃度、中活跃度、高活跃度和整体用户的在线 A/B 结果如表 1 所示。对于主要指标活跃天数和持续时间，所提出的兴趣时钟实现了 +0.509% 和 +0.758 的大幅提升% 具有统计显着性的所有用户，考虑到生产算法的平均活跃天数和持续时间分别提高了 0.05% 和 0.1% 左右，这一点非常引人注目。此外，结果表明兴趣时钟可以提高不同活动级别用户的推荐性能。

为了分析时间信息对推荐系统的影响，我们将不同时间的音乐情绪标签的分布可视化，如图所示。结果进一步揭示了一些富有洞察力的观察结果。

推荐系统提供的内容分布随时间变化，这表明用户的偏好在一天内遵循动态模式。
整体内容分布符合我们的直觉。例如，悲伤歌曲在 0:00-8:00 的展示次数多于 12:00-20:00。

一些想法：

本文的高斯分布平滑方法适用于音乐/短视频等持续类推荐场景,但对于查询、新闻等场景可能需要不同的时间感知建模方式。
本文主要考虑了天内兴趣变化，但用户的基础兴趣也会随着时间推移而发生漂移,这种长期漂移可能需要不同的时间建模策略。
有没有其它更好的的时间编码和时间划分方式？

How To Select The Right Technology Solution

Qin — Sun, 17 Mar 2024 08:13:57 GMT

When faced with multiple uncertain options, list them separately and consider factors such as man hours, difficulty, degree of liability, and length of time for future support. Quantify and use indicators to assess the viability of each option. When choosing the final program, prioritize those with fewer man-hours, lower difficulty, lower liabilities, and longer support time. If the support time is short, consider whether it can be iterated to a more difficult program or another program. Iteration should occur when the metrics align accordingly.

After each phase goes live, conduct a review to assess its consistency with expectations:

Are the work hours consistent?
Were there any unanticipated liabilities incurred?
Is the support time shorter than initially estimated?
Did the iteration occur when the anticipated metrics for change were reached? Are these indicators suitable for iteration?
Do the outcome metrics effectively measure results?
Evaluate whether the outcome of this event aligns with the outcome metrics and provide reasoning for its success or failure.

《金字塔原理》读书笔记

Qin — Wed, 24 Jan 2024 09:22:25 GMT

看的版本是南海出版社出版的《金字塔原理》，作者是芭芭拉明托

金字塔思考和写作的意义

我们的大脑一次记忆不超过 7 个思想、概念或项目。同时为了更好的记忆东西，我们大脑找出逻辑关系。

大脑会自动将信息归纳到金字塔结构的各个部分，以便理解和记忆。如果能把知识预先归纳到金字塔结构中的内容，更容易理解和记忆。我们应有意识地将想要表达的内容组织成金字塔结构，包括口头表达和书面表达——说话、培训、演讲、报告、述职和写文章、总结、申请、方案、计划等。

按照金字塔结构理清表达思想的顺序，是写出条理清晰的文章的最重要方式，清晰的顺序就是先提出总结性思想，再提出被总结的具体思想。

比如下面这句话：

“上个星期我去了趟苏黎世。你知道，苏黎世是一个比较保守的城市。我们到一家露天餐馆吃饭，你知道吗？在15分钟里我至少见到了15个留长胡子的人。当然，留长胡子在多年以前就已经是伦敦街头的一景了。”

这段话是很让人难以理解的，不确定你想要表达的是什么，你可能会认为，“她在谈论苏黎世已经变得不再保守”，或者“她准备把苏黎世与其他城市做比较”，甚至“她很喜欢男人的长胡子”。无论你有什么反应，大脑都在等待关于以上话题的更多信息，而不管后续的实际信息如何。你必须要等到最后一句才能搞明白在说什么。

受众在接受信息时，总是在寻找一种能够将所输入信息联系起来的结构。为了保证他找到的结构就是你希望他采纳的结构，必须提前把这种结构告诉他——这样他就知道要寻找哪个共同点。换成下面的表达方式就能更让人理解：

你知道吗？我简直难以相信，在商业界，男人留长胡子或长头发已经如此普遍，如此被广泛接受：在苏黎世……在纽约……还有，在伦敦……

如果你将你需要的所有的信息进行归类分组、抽象概括，并以自上而下的方式表达出来，那么你的文章结构会如下图所示。每个方框代表你希望表达的一个思想。

你的思维从最底部的层次开始构建，将句子按照某种逻辑顺序组成段落，然后将几个段落组成章节，最后将章节组成完整的文章，而代表整篇文章的则是金字塔最顶端的思想（中心思想、核心观点）。

你需要不断地对思想进行归类和概括，直到没有可与之关联的思想可以继续概括，因此每一篇文章的结构必定只支持一个思想，即概括了各组思想的单一思想。这一思想应当就是你想要表达的中心思想，而所有在其之下的思想则越往下越具体、越详细（如果你正确构建了文章的结构），并且都对你希望表达的中心思想起着解释和支持的作用。

在说一件事情的开头应向读者说明“背景”的时间和地点。在这一背景中应当发生了某件事情，可称为“冲突”，使读者提出（或将使读者提出）你的文章将要“回答”的“疑问”。（某种意义上我们在沟通事情的时候需要同步上下文）

比如下面这句话就是一段常见的开头：

本备忘录的目的是进一步思考和讨论以下问题并征集建议：

1.董事会的组成及最合适的人数。

2.董事会和执行委员会的日常角色、具体职责及相互关系。

3.使独立董事成为有效的参与者。

4.董事会成员的选举和任期的有关规定。

5.董事会和执行委员会的运作可采取的各种可能方式。

以讲故事的方式去同步上下文：

10月新设立的机构将获得管理该机构两个部门所有日常事务的全部权力和责任，这些权责以前由两个部门的经理负责。这一举措将使董事会从日常琐事中解脱出来，全力处理董事会独有的决策和规划等全局性事务。但是，因为董事会长期深陷于处理短期运营问题的状态，现在无法有效地将工作重心转移到长期战略发展上。因此，董事会必须考虑实现工作重心转移所需要进行的变革。具体来说，我们认为董事会应当考虑如下变革：

• 将日常运营事务交由执行委员会处理；

• 增加董事会编制，吸纳独立董事参与；

• 制定规范内部运作的政策和流程。

用上面这样的方式去写文档或者同步一件事情是更好的，在被同步事情的人看来如果你只同步 1..2..3..4.. 等是很难明白你在说什么，也不知道这样做的意义是什么。如果经过一段故事性的叙述讲明白了这是个什么样的事、需要解决的问题是什么、如何解决..会更好。

构建金字塔

自上而下

1.提出主题思想。

2.设想受众的主要疑问。

3.写序言：背景—冲突—疑问—回答。

4.与受众进行疑问—回答式对话。

5.对受众的新疑问，重复进行疑问—回答式对话。

自下而上

1.列出你想表达的所有思想要点。

2.找出各要点之间的逻辑关系。

3.得出结论。

界定问题

判断问题是否存在，通常要看经过努力得到的结果（现状），与希望得到的结果（目标）之间是否存在差距。

下图是一些能够帮助界定和分析问题的问题工具：

界定问题的时候需要先回答以下3个问题：

发生了什么事情？（背景：切入点/序幕+困扰/困惑）
我们不愿看到什么？（非期望结果，现状，R1）
我们想要什么？（期望结果，目标，R2）

代入到前面说的背景、冲突、疑问的范式中就是：

分析问题

分析问题的标准流程是：

收集信息→描述发现→得出结论→提出方案

为了避免在收集信息的过程中做无用功，在收集资料之前对问题进行结构化分析，这一方法现在已被很多优秀的咨询公司采用。在某种程度上，这就是在重复传统的科学方法：

• 提出各种假设。

• 设计一项或几项重要的实验，根据结果排除一个或多个假设。

• 通过实验得出明确结论。

• 采取相应的补救措施。

换句话说，就是强迫自己思考产生问题的各种可能原因，之后的重点就是收集资料，以证明这些原因成立或不成立。只有假设自己已经找到产生问题的原因，才能更好地提出创造性地解决问题的方案。

借助诊断框架设想产生问题的领域的状况，你会发现分析过程应该关注的要素或活动。举个简单的例子，比如，你头痛但不知道原因，所以无法医治。你首先应该设想一下造成头痛的可能原因，如上图所示。

采用“相互独立，完全穷尽”的分类方法，可以得出头痛的原因要么是身体上的，要么是精神上的。身体原因要么来自外部，要么来自内部。如果是外部原因，可能是撞伤、过敏或是对天气的反应，等等。

结构化分析方法只有3种：呈现有形的结构、寻找因果关系和归类分组。

有形机构

了解行业内的业务流程和主要趋势，以此为基础确定容易出问题的领域。首先，要进行行业细分，如上图所示，确定每个细分市场的容量和竞争者，同时也可以发现哪里有增值潜力，成本如何控制，哪里是盈利点，哪些利润容易受影响，以及资产的使用状况等。然后你需要寻找平衡点，根据收集到的数据确定哪些业务比较脆弱。

了解行业内的业务流程和主要趋势，以此为基础确定容易出问题的领域。首先，要进行行业细分，如上图的图所示，确定每个细分市场的容量和竞争者，同时也可以发现哪里有增值潜力，成本如何控制，哪里是盈利点，哪些利润容易受影响，以及资产的使用状况等。然后你需要寻找平衡点，根据收集到的数据确定哪些业务比较脆弱。

寻找因果关系

例如，一家烟草公司的贡献毛益（贡献毛益=收入—可变成本）等于收入减去明细成本（烟叶、包装材料、税金、直接人工成本）、广告和销售费用。将这些项目变成任务（增加净销售额、减少烟叶成本等）后，就知道哪些是公司的关键任务，并能通过分析树状图中的有关数据（趋势、敏感性、行业比较和竞争），决定应该优先完成哪些任务，以增加每股收益。

归类分组

把所有可能的原因按相似性分类，这样做有一个前提，即预先分类有助于综合分析各种事实。每一个层次都要按照“相互独立，完全穷尽”的原则分类，并以此为线索进一步找出可能的原因。然后，通过回答“是”与“否”，确认或排除其中一些原因。

推理问题的方法

皮尔斯认为，任何推理过程都要涉及3个方面：

1.规则（关于世界组成方式的看法）。

2.情况（世界上存在的已知事实）。

3.结果（如果把规则用于该情况，预期将发生的事情）。

演绎推理

规则　如果价格定得太高，销量将下降　如果A，则B

情况　价格定得太高　A

结果　所以销量将下降　必然B

归纳推理

情况　提高价格　A

结果　销量下降　B

规则　销量下降

外展推理

结果　销量下降　B

规则　销量下降通常由于价格太高　如果A，那么B

情况　检查价格是否确实太高　可能A

人、钱、事

Qin — Thu, 30 Nov 2023 06:31:32 GMT

在过去的几个月里，我曾深陷困惑，思考如何将人与成本联系起来、如何培养人才、如何构建团队梯队以及如何提高整个团队的效率。并真正静下心来学习“管理”这个领域，我有一天突然领悟到，所谓的研发管理其实就是三个要素：人、钱、事。

从执行层面来看，作为管理者，预见未来并制定相应的计划是我们的职责。我们需要有先见之明，预测未来半年到一年内可能会发生的问题，并据此设定当前需要完成的任务和目标。这些目标可以是定性的，也可以是定量的，但一定要有明确的标准来衡量它们的完成情况。就像 Martin Fowler 所说的那样，“If it hurts, do it more often”，频率解决难度。

为了更好地实现这个原则，与 OKR 类似我们需要将大目标拆解为多个子目标，再将子目标拆解为更细的二级子目标或实际需要做的事情。同时，我们需要为每个目标和事情设定适当的指标来衡量它们的完成情况。这样的拆分和指标设定可以帮助我们更好地实现目标，提高工作效率，让整个团队在不断迭代中逐步实现更大的成就。

当你进一步拆分目标时，会发现不同的事情和目标具有不同的难度。为了更好地管理这些难度，可以对它们进行简单的分级，并将不同的事项归入不同的难度级别。

其次，对于人员的管理，需要回顾团队中每个成员的简历、他们入职后完成的所有任务以及个人绩效等等。通过这样的复盘，可以更清楚地了解每个成员的能力和特长。这有助于你评估每个成员能胜任哪些难度级别的工作，并将合适的人安排到适合他们能力和专业的任务中。

将人安排进去后，需要与他反复沟通和确认目标，确保双方的理解是一样的，达成一致。

如果某个任务的难度超过了某个成员的能力评估，那么可能是对任务的评估不准确，或者对人员的评估不准确。在这种情况下，需要进行适当的调整。

如果发现对某个成员的评估过高，那么应该降低对该成员的评级。如果发现对任务的难度评估过低，那么需要反思自己为什么会做出错误的评估，并加以改进。

在适当的时候，可以尝试将比原先评估的难度更高的事情交给某个成员去完成，看看他是否能够突破自我，成功完成挑战。如果他能做到，那么应该给予他升职加薪的奖励。

根据大目标拆解的多个一级或二级子目标，需要组建相应的团队梯队。在评估团队成员是否满足难度梯度时，如果发现不满足的情况，需要及时调整队伍或培养人才，以建立合适的梯队。此外，还需要关注拆分后的目标所需的专业能力是否与团队成员的技能相匹配。如果不匹配或短时间内难以学会，需要寻找合适的人才来填补这个位置。

那么当事确定了、团队确定了就需要开始评估 ROI 了。每个人的薪酬是否匹配其的产出，与他入职时的定级或者现在的定级是否一致。通过事上练，你就大概知道这个人与你对他的预期是否一致，不符合预期的降低评级和薪酬，超过预期的提升评级和薪酬。他的薪酬、期权是否足以支撑他的产出和他所在的团队的产出也是需要衡量的。

衡量事本身的 ROI 就需要看需要投入什么样的人在上面花费多少工时做一个什么样的事，获得什么样的回报、达成了什么样的指标。最后隔一段进行一次复盘，哪些事是对的、是错的；哪些人是评估对的、错的；哪些 ROI 是太低、远超收益的。不断纠正自己的决策。

三位一体，串联起来。越小的团队越消耗心力。

软件架构设计指导

Qin — Sun, 08 Oct 2023 06:42:56 GMT

架构设计的目的

软件系统充满了各种不确定性，上下游关系复杂、在大型项目中涉及到的人很多。我们需要拆解业务目标、制定计划。软件架构是开发优秀软件的基础，同时也是同步团队认知、统一团队目标的重要方法。其次是将风险和复杂度提前暴露，减少开发中遇到的坑。通过合理的技术选择、系统组织和资源管理，以支持业务需求、保障系统质量、提升团队协作效率、管理技术风险、为未来高扩展性做铺垫。

架构设计师的主要职责

从工程角度定义问题
产品经理定义功能特性，架构师则需要定义系统的质量属性和影响架构设计的约束和特性。
把控大局
从全局角度考虑系统，不单单只处理技术问题，人员、过程、产品需求等等都会影响到最终交付的系统。
平衡
需要在成本和高可用性中做取舍。
需要在成本与实现优雅做取舍。
技术债务
所有的软件都一定会有技术债务，但我们需要知道如何分解技术债务，在大局的视角下将技术债务逐步解决掉。哪些应该现在立即要解决？哪些能在此次交付中解决？哪些能在未来的什么时候解决？甚至有时候需要引入债务来换取更快交付。

核心问题

利益的相关方是谁？
主要业务目标是什么？
项目整体解决方案是什么样的？
涉及到哪些技术？
团队现在有人员擅长哪些技术？
最大的风险是什么？如何克服？

核心思维

将大问题拆解为容易处理的小问题。
通过软件架构告诉大家如何系统工作，架构可以被拆解成多人协作完成的多个部分。
定义概念和词汇，大家统一认知方便沟通。
不仅关注功能特性，还需要考虑功能需求、成本、约束、进度、风险、团队能力、质量属性。
软件架构可以避免犯重大错误，无论为何把决策写下来经过详细的推敲能有效避免拍脑门带来的麻烦。
以人为本，我们应当关注最终帮助到的人、实现的人、测试的人、设计的人、协调的人等等。尊重大家，倾听大家的意图。
推迟决策，应当优先关注高优先级的质量属性，降低风险，其它决策都可以延后。
参考已有的案例。
尽可能降低风险，时刻考虑哪些地方可能出错、应该如何避免。
尽可能简化问题，减少涉及到的利益方、增加或减少约束条件、拆解为多个子问题等。

架构设计应当占据多少时间

20% 最好。在《 Architecting ：How Much and When》一书中，Barry Boehm证明了开发、架构设计、返工是构成项目工期的三个主要部分。返工包括弥补设计缺陷、重写代码、改正错误等。要找到最佳平衡点，必须整体考虑设计成本，以及为了完成系统不可避免的返工。

最佳平衡点主要由软件规模、需求变更、系统复杂度决定。Boehm证明随着架构规划时间的增加，返工量会逐步减少。图上方的实线是架构设计时间与返工时间之和。

在这个例子里，当用于架构设计的时间少于20%时，最终的项目工期随着架构设计时间的增加逐步减少，但边际收益在递减。随着架构设计时间的进一步增加，虽然返工量仍然会减少，但整个项目工期反而变长。Boehm还研究了随着系统规模变化，最佳平衡点的变动情况。这些数据可以用来评估你的架构设计时间是否在合理范围内。

这张图包含了一些重要信息，我们分析一下其中要点。软件系统越大，前期做架构设计的获益就越大。据Boehm研究，大型软件系统(一千万行代码左右)将37%的时间花在架构设计上是一个明智的选择。软件系统越小，做前期架构设计的获益就越小。据Bochm研究，小型软件系统(一万行代码左右)花在前期架构设计上的时间不应该超过5%。在某些情况下，与其投入大量时间做前期架构设计，不如直接重写小型软件系统。前期架构设计做得不够，要对后期返工做好心理准备。小型软件系统不做过多的前期架构设计可以缩短整体工期，但是返工还是不可避免的。对此要做好准备，设计上可能存在的变动应该在计划里体现出来。如果前期架构设计做得不够，系统越大，后期折腾返工的概率就越高。前期架构设计的投入越多，后期返工就越少。前期架构规划有助于减少错误，如果你更重视项目进度的可控性，而不在乎效率，可以多花时间做前期架构规划（哪怕是小型系统）。而对大型软件系统而言，前期架构规划是必不可少的。用系统规模来估计前期架构设计的工作量很方便，因为规模很容易衡量和预估。不过也有团队用系统复杂度来决定前期架构设计的工作量，毕竟大型系统可能很复杂，但并非所有复杂的系统都很庞大。而对于可以用常规解决方案处理的系统，即使规模很大也可以不做太多的前期架构规划。估计前期架构设计工作量的另一个考虑因素是需求波动。重大需求一旦发生变化，精心打造的计划也会泡汤。如果你预计系统需求有可能发生大的波动，那么么可以推迟做出关键决策，同时尽量采用轻量级的设计方法和文档。

设计原则

最小代价原则

尽可能在一开始的时候，作出正确的选择，因为一旦这个架构设计出现，后面的人很有可能不愿意为了更好的架构而改进，而是遵循已有的设计。最小意外原则好的设计应该避免意外，遵守通用的规范和习惯，代码也是。这些意外其实是软件架构和设计中的复杂因素。最小意外也就意味着尽可能的简单。

DRY原则（Dont repeat yourself）

重复是软件的原罪之一，“Dont repeat yourself” 告诉我们应该尽可能的消灭重复和冗余。重复使得软件的阅读，修改，测试变得复杂，消灭重复，是使软件变得简单的手段之一。单一职责原则从服务到代码中的类，都应当只负责单一的职责。每个服务只完成自己职责内的任务，对于不是自己职责的功能交给其它服务来完成。

闭包原则（CCP）

服务的闭包原则就是当我们需要改变一个微服务的时候，所有依赖都在这个服务的组件内，不需要修改其他服务。服务自治、接口隔离原则尽量消除对其他服务的强依赖，这样可以降低沟通成本，提升服务稳定性。服务通过标准的接口隔离，隐藏内部实现细节。这使得服务可以独立开发、测试、部署、运行，以服务为单位持续交付。单向依赖尽量不要有服务之间的环形依赖或双向依赖，原因是存在这种情况说明我们的功能边界没有划分清楚或者有通用的功能没有下沉下来。

服务拆分原则

采用的主要设计方法可以利用 DDD，DDD 的战略设计会建立领域模型，可以通过领域模型指导微服务的拆分，主要分四步进行：

第一步，找出领域实体和值对象等领域对象。
第二步，找出聚合根，根据实体、值对象与聚合根的依赖关系，建立聚合。
第三步，根据业务及语义边界等因素，定义限界上下文。
第四步，每一个限界上下文可以拆分为一个对应的微服务，但也要考虑一些非功能因素。
以电商的场景为例，交易链路划分的限界上下文如下图左半部分，根据一个限界上下文可以设计一个微服务，拆解出来的微服务如下图右侧部分。

了解需求

可以建个表格确认每个利益相关方是谁、业务目标是什么、需求背景是什么。大多数系统只有三到五个目标，可以在记录目标时备注是【必须有】、【最好有】这样的标签方便后续设计时考虑进去。并且提前准备好问题，跟每个利益方聊聊。例子：
架构师：新系统上线后需要替换旧系统，什么时候处理旧系统呢？
利益方：新系统上线后会执行迁移计划，预计九个月完成。
架构师：预计什么时候完成所有迁移？
利益方：越早越好，最迟在明年 12 月完成。
架构师：那预计是明年三月底前就要上线。
利益方：是的。
架构师：关于迁移需求可以说得详细点么？
利益方：迁移前，新系统必须有这几个功能...

建立约束表格来限制设计，你可以区分出技术约束（如编程语言、操作系统、中间件）和业务约束（团队结构、进度和预算、法律限制等等），同时你需要明确提出方和背景。约束一旦确定，就不能讨价还价，应当与所有提出约束的提出方达成一致，约束是“必须这么做，否则项目会失败”而不是“尽量这么做”。

你可以从以下角度区分质量属性，并且给每个质量属性（可以重复）都写上对应的实际使用场景及优先级：
可修改性；
可维护性；
可服用性；
可测试性；
开发时间；
可用性；
可伸缩性；
性能；
可靠性；
安全性。

对功能需求进行分类：
画出架构草图。
对功能需求大致分类。
如果这个功能需求很有难度、有重大影响的可以单独一类。
寻找重要的、高优先级的一类。
对照架构草图，思考每个分类如何实现。

确立指标，可以拉上相关人一起参与:
在白板的最左侧写下目标
请参与者提出问题
研究每个问题，找出回答问题所需的指标
针对与现有问题或指标有关的其他目标，重复上述过程
确定计算指标所需的数据
确定从哪里可以获取所需数据（可以使用日志收集、Prometheus 收集、神策、埋点上报、谷歌分析等等都是可以的）
对指标和数据进行优先级排序
记录研讨会结果把上述的东西整理成文档。

建立领域模型

为了进一步简化架构设计中“模型”这个概念，直接使用 DDD 中的领域模型。之所以不使用完整的 DDD 是因为 DDD 着实复杂、学习成本高、国内用的人少，为了方便大家快速上手只采用了一些 DDD 中的概念来辅助架构设计。

领域模型是对具有某个边界的领域的一个抽象，反映了领域内用户业务需求的本质；领域模型是有边界的，只反映了我们在领域内所关注的部分。领域模型只反映业务，和任何技术实现无关；领域模型不仅能反映领域中的一些实体概念，如货物、书本、应聘记录、地址等；还能反映领域中的一些过程概念如资金转账等；可以想象成我们要开发一个学校管理系统。在设计这个系统之前，我们首先需要对这个学校的情况有一个大致的了解，比如学校有哪些人(学生、老师、校长等)，这些人可以做哪些事情(学生可以上课、老师可以教课等)。那么我们可以把学校这个领域中的基本概念和业务规则先抽象出来，做成一个模型，这就是领域模型。这个模型用简单易懂的语言描述了这个领域的主要元素和特征。之后系统开发人员就可以根据这个模型来设计系统的功能和数据库结构等，还可以和领域专家(比如学校老师)用这个模型来交流具体的需求。所以简单来说，领域模型就是先用简单的语言对需要开发的系统的主题做一个概括性的描述和总结。它是连接业务领域和系统设计的一个桥梁。明白了领域模型，开发系统就比较容易了。

下面是 Claude 生成的例子。假设我们要建立一个图书管理系统，领域模型可以包含:实体:

书籍(标题、作者、分类、ISBN等属性)
读者(名字、年龄、借阅历史等属性)
管理员(姓名、职位等属性)服务:
借阅书籍
归还书籍
续借书籍
缴纳罚金
采购新书规则:
每个读者最多可借5本书
借阅期限为20天
逾期未还，每天罚款1元
书籍采购budget每年1000元流程:
读者搜索书籍
读者借阅书籍
系统记录借阅信息
读者归还书籍
系统核算罚金
管理员采购新书图表形式的参考例子：

在初步建立规范的架构设计阶段，没必要在人少的时候大规模引入 DDD 的一堆概念，建立领域模型时最重要的是建立实体和领域服务还有它们之间的关系。初期的时候可以不用一口气把全部定得非常细，逐步完善即可。

确定架构模式

常见的架构模式现在并不多，选择合适的即可。

架构设计研讨会

将上面准备好的关键需求、约束等展示给团队。
介绍目标和背景。
参与者用 5-7 分钟画出架构设计草图。
展示草图并且游说其它人解释自己的设计如何满足目标。分享时不进行提问。
都展示完成后再进行提问。
如果有足够的时间，修改设计、再次展示、游说、提问循环。

架构设计图画法

C4 模型是一种轻量级的软件架构图的表示法，旨在帮助团队更好地理解和沟通软件架构设计。

C4代表了四个层次的抽象化，即：

上下文（Context）：上下文层次主要描述了软件系统与外部系统或人员之间的交互关系，其目的是为了提供软件系统的背景和整体结构。
容器（Container）：容器层次描述了软件系统中的容器（如服务器、数据库等）以及它们之间的关系，其目的是为了提供软件系统内部的大体结构。
组件（Component）：组件层次描述了容器内的组件（如Web应用程序、服务、数据库架构等）以及它们之间的关系，其目的是为了更细致地了解软件系统的内部组成。
代码（Code）：代码层次描述了组件内的代码实现，其目的是为了帮助开发者更好地了解组件的实现和技术细节。

如上图所示，这四个层次对应着从高到低的不同的抽象程度。对应到软件系统中来说，就是能够从不同的层级视图上，展示软件的架构，使得设计者和开发者们可以更好地理解、交流架构设计，并推进架构的演进升级。

第1级

系统上下文图系统上下文图是软件系统设计的起点，是让你后退一步以看到大的视角。画一个图表，将你的系统显示为中心的一个盒子，周围是展现的主要是两类信息：

本系统的用户是谁；
本系统如那些外部系统有交互。细节在这里并不重要，因为这是你缩小的视图，显示了系统全景的大图。重点应该放在人(参与者、角色、角色等)和软件系统上，而不是技术、协议和其他低级细节上。这是一种可以展示给非技术人员的图表。
呈现范围：单个软件系统。
主要元素：范围内的软件系统。
支持元素：在范围内直接连接到软件系统的人员(例如用户、参与者、角色或角色)和软件系统(外部依赖项)。通常，这些其他软件系统位于您自己的软件系统的范围或边界之外，您对它们没有责任或所有权。
目标受众：每个人，包括技术人员和非技术人员，软件开发团队内外的人员。
注意：推荐推荐给大多数团队。

第2级

容器图此处的容器，不是指Docker的一个容器。而是类似于服务器端web应用程序、单页应用程序、桌面应用程序、移动应用程序、数据库模式、文件系统等。本质上，容器是一个单独的可运行/可部署单元(例如，一个单独的进程空间)，用于执行代码或存储数据。系统上下文图将本系统看作一个黑盒，那么容器图则是把这个黑盒打开，深入到了软件的内部，展示了软件内体系结构的高级形状，以及职责如何在其中分布。

它还展示了主要的技术选择以及容器之间如何通信。这是一个简单的、以技术为重点的高级图表，对软件开发人员和支持/操作人员都很有用。

呈现范围：单个软件系统。
主要元素：范围内软件系统中的容器。
支持元素：直接连接到容器的人员和软件系统。
目标受众：软件开发团队内外的技术人员;包括软件架构师、开发人员和操作/支持人员。
注意：推荐推荐给大多数团队，该图没有说明部署场景、集群、复制、故障转移等。

第3级

组件图组件图，则是进一步放大并分解了每一个容器，接下来，您可以放大并进一步分解每个容器，以识别容器内的主要结构构建块，及其互相之间的交互关系。组件图展示了容器是如何由许多“组件”组成的，每个组件是什么，它们的职责和技术/实现细节等。

呈现范围：单个容器。
主要元素：范围内容器中的组件。
支持元素：容器(在软件系统范围内)加上直接连接到组件的人员和软件系统。
目标受众：软件架构师和开发人员。
注意：不推荐给大多数团队，如果你觉得组件图增加了价值，那么只创建组件图，并考虑为长期存在的文档自动化创建组件图。

第4级

代码结构图如果需要深入到组件代码层面，代码结构图可以显示组件是如何作为代码来实现的。主要是使用使用UML类图、实体关系图或类似的方法。

理想情况下，这种底层细节的图表，将使用工具(例如IDE或UML建模工具)自动生成，应该考虑只显示那些，你想要重点关注的属性和方法。所以，除了最重要或最复杂的组件之外，不建议使用这种详细级别。

呈现范围：单个组件。
主要元素：组件作用域中的代码元素(例如类、接口、对象、函数、数据库表等)。
目标受众：软件架构师和开发人员。
注意：不推荐用于大多数团队，对于长期存在的文档，大多数IDE工具都可以按需生成这种级别的详细信息。

使用C4模型的6个注意点

在团队架构中，使用C4模型来呈现架构视图时，需要注意以下几点：

目标清晰：在绘制C4模型之前，应该明确需要建模的系统、软件或架构的目标。确保每个层次上的图表都有明确的目的，能够传达给观众或其他利益相关者有关系统或软件的信息。
约定标识符：在绘制C4模型时，应使用一致的标识符来命名和标识不同的元素，例如系统、容器、组件和代码等。这有助于提高模型的可读性和理解性。
简单明了：C4模型强调简洁、清晰的表述。在绘制C4模型时，应避免使用过多的细节或技术语言，以确保每个层次上的图表都易于理解。
易于更新：C4模型应该能够随着时间的推移而更新，以反映系统或软件架构的演变。在绘制C4模型时，应该考虑如何使其易于维护和更新。
适度细节：在绘制C4模型时，应考虑到每个层次上需要展示多少细节。如果图表过于复杂，可能会导致人们难以理解和使用。
迭代性：C4模型是一个迭代的过程。在实践中，您可能需要多次绘制和修改C4模型以满足需求，并使其更好地反映系统或软件架构。总之，C4模型是一种简单但强大的建模方法，可以帮助您建立清晰、易于理解和易于维护的软件架构图表。通过遵循上述建议，您可以更好地使用C4模型来设计和描述复杂的软件系统。

实践中常见的6个误区

在使用C4模型时，可能会遇到一些常见的误区。以下是一些常见的误区，以及如何避免这些问题的方法：

过度关注细节：C4模型旨在提供一个高层次的概述，以帮助人们理解系统或软件架构。因此，过度关注细节可能会使模型过于复杂，难以理解。建议在模型的每个层次上保持适度的细节，以便读者可以轻松理解。
忽略系统间的交互：C4模型强调系统的上下文视图，但有时候人们可能会忽略系统之间的交互。在建模时，应该考虑系统之间的交互以及它们如何在软件架构中发挥作用。
忽略时间和演变：C4模型应该是可演化的，这意味着模型应该能够反映软件架构的演变。在建模时，应该考虑如何使模型易于更新和维护，以便反映软件架构的演变。
与UML混淆：虽然C4模型和UML有些相似之处，但它们是不同的建模方法。C4模型的重点是软件架构，而UML的重点是面向对象的编程。因此，建议不要将C4模型与UML混淆。
未充分考虑受众：C4模型的目的是使软件架构易于理解。因此，在绘制模型时，应该考虑模型的受众群体，并为他们提供足够的上下文信息和详细说明。
忽略安全和性能：在建模软件架构时，应该考虑安全和性能方面的因素。这些因素对系统的设计和实现都有重要影响，因此应该在C4模型中考虑它们。

架构决策记录

有时候我们更关心架构决策背后的动机有个关于架构设计的玩笑是，没有什么问题是不能用两个框加一条连线解决的，如果有的话，那就再加一个框和一条连线。确实架构师们经常用框和连线来表达架构决策是什么。但有时候我们更希望理解这个决策的前因后果，尤其是那些正因为这个历史决策承受痛苦的人。如果我们不理解这个历史决策背后的动机，那么我们只有两个选择：

闷头接受这个决策

如果这个决策的上下文没有变化，这个选择可能没有问题。但如果这个决策的上下文已经改变了，可能我们错过了一个调整决策的机会。我很怀疑，如果我们不理解某个决策背后的动机时，是否真得能在实际工作中贯彻这个决策，不会走样。

闷头绕过这个决策

同样的，如果这个决策的上下文已经失效了，那么绕过它可能没有问题。但另一种可能即我们在无意间把事情搞砸了。因此，这两个选择都不是好主意。那么我们如何穿越到历史决策制定的时间线去一窥背后的动机呢？还是得靠文档，我们称之为架构决策记录（Architecture Decision Record，简称ADR）。

架构决策记录应该包含什么

在网络上，可以找到各种各样的架构决策记录模板，那么架构决策记录应该包含什么呢？既然记录架构决策的动机是为了理解该决策背后的动机（好拗口），那么我们应该将更多的笔墨放在Why & What上。本着精简文档的原则，我认为架构决策记录至少应该包括以下几项：

问题描述

描述要解决什么问题以及为什么是现在这个时间点来解决这个问题

约束

描述在解决该问题时有什么限制条件，例如预算/时间线/资源

假设

描述在做出决策时带着什么假设，由于各种原因在决策当时，尚无法验证

相关的架构决策/原则

列举相关的架构决策或架构原则，它们也有助于帮助读者理解决策推导过程

备选方案

一组备选方案，如果有人总是问“你们有没有考虑过这种方案”，那么这里是回应的好地方。每个备选方案除了方案本身的描述外，还应该说明如果选择了该方案会有什么后果/代价

决策

最终选择了哪个备选方案，其后果/代价是什么

状态

草稿/待评审/已通过，可以根据你所在组织的架构决策流程来定义

架构决策记录应该保持什么粒度

那么什么样的决策适合以架构决策记录的形式来记录呢？这个需要根据你所在组织的情况来定，但原则上太细粒度的设计决策或太宏观的方向决策都不太适合。但不管什么样的决策，其背后的动机都值得记录下来，只是未必以架构决策记录的形式而已。例如，需要新增一个API或是修改已有的API，那么通过代码的提交备注就能记录了。而引入中台架构则太宏观了，可能需要一个报告来能说清。

架构决策记录应该存放在哪

原则上，架构决策记录应该尽可能开放，这样才能最长程度避免“有时候我们更关心架构决策背后的动机”中出现的闷头干的情况。所以不管是直接放到Wiki上，或是放在共享文件夹里，都需要将如何在避免泄密（如果有的话）的前提下，最大化读者可见性作为考量之一。另外，应该考虑将架构决策记录纳入配置管理（指保存历史版本），某些 Wiki（例如 Confluence 自带历史版本功能），或者采用普通文档（是类似于 Markdown 的普通格式，而不是二进制的Word文档，以便更方便的观测修订历史）搭配源码工具（Git/SVN等）。我们可以先放在飞书项目。

一个例子

下面我将用一个虚拟的例子来演示一个架构决策记录，我不会对其做背景介绍，请帮我验证一下这个架构决策记录能否达到它应有的作用。

标题: ADR-34-初步建立在线收款能力

问题描述

我们是一家依赖经销商分销的企业，现在正在尝试将指定商品直接向消费者销售，这要求我们为之建立在线收款的能力。

假设

B2C试点业务只需要支撑付款，而不包含退款、订单二次收款等功能

约束

时间约束：B2C试点项目预计于20年9年上线运行，期间大约有2周的时间完成与在线支付供应商的集成。

业务约束：需要保障财务对账工作可以某种方式进行。考虑到B2C试点业务的计划，对账工作未必需要以自动的方式执行。

相关的架构决策/原则

根据ADR-32-引入在线支付供应商，为尽可能以最小的代价，支持多种支付方式，我们会与一家在线支付供应商合作，但商务协商仍在进行中。

备选方案

O1 由结账组件直接与在线支付供应商集成

由结账组件与在线支付供应商集成
由“结账单”业务实体负责兼顾在线收款的生命周期优势:
由于B2C试点业务只需要支撑付款，而不包含退款、订单二次收款等功能，因此，在线收款的生命周期与结账单的生命周期有较大重合。这种重合可以降低初始的工作量。劣势:
可以预见，将来会有更多需要在线收款能力的场景，这些场景未必是基于结账单工作的。因此从长远看，并不适合由结账组件来提供线收款能力影响:
如果选择该备案，可以预见在将来需要通过重构迁移至O2

O2 引入专职的在线支付组件与在线支付供应商集成

引入在线支付组件与在线支付供应商集成
引入“在线收款”业务实体负责管理在线收款的生命周期优势:
独立的“在线收款”实体可以将在线收款的生命周期与结账单的生命周期解耦，使其可以更容易扩展将来对订单二次收款等特性的支持劣势:
需要额外一名工程师投入，但目前已无足够人手

决策

从长远来看，O2是更好的选择，但我们目前需要在没有足够的工程师的情况下满足非常有挑战的项目时间线。因此建议先采用O1，在需要引入订单二次收款能力时切换到O2。

状态

待评审

架构设计文档模板

这个模板比较多，建议参考：

架构实战营 - 方案设计文档模板_架构实战营_华仔_InfoQ写作社区

架构实战营课程讲到了3类关键的设计文档：备选架构设计文档、详细架构设计文档、方案设计文档。其中前两个是在架构设计阶段由架构师或者架构设计团队完成的，而方案设计文档就是开发人员在项目开发过程中需要完成的

方案设计文档模板_架构实战营_华仔_InfoQ写作社区

或者搜索下相关的模板。

评估架构设计方案可以组建评估会，准备好打分表格。

我们需要先达成一致的认知：架构设计没有绝对的好坏，只有适不适合当前业务。

使用前面定义的质量场景和约束作为评估准则，可以打分 1-5。
对上面找到的系统关键指标进行评估，打分 1-5。
还可以使用风险数量、不确定问题数量、大家对某一问题的态度、完成时间、适应性、技术债务等进行打分。
满足成本要求或进度目标的可能性，打分 1-5。
团队的技术能力是否适配或者可以很快掌握，打分 1-5。
可以写出七个你不确定的问题的答案。
比如架构中的关系哪些是不知道的。
有哪些地方直觉上是你比较担心的？评估完之后确定后续行动要点同步给大家。

DDD 设计方法论

DDD 建模工作坊指南

DDD 是 Domain-Driven Design 的缩写，本文档提供了 DDD 的标准化释义。

大富翁的经济学原理

Qin — Wed, 21 Jun 2023 03:53:46 GMT

这个博客的思考专栏是我自己用于思考一个问题时写的，我尽量每隔一段时间学会问一个为什么，尽管我不是那个领域的专家，但是我通过阅读和整理大量文献、文章、新闻等去搞懂一个问题。不断训练自己的思考能力 ing...

诞生的背景

1935年，查尔斯·达罗把第一版《大富翁》卖给了帕克兄弟公司，这笔交易让他很快便成为了一个当时非常富有的人。后来，帕克兄弟将达罗的故事作为所谓的白手起家的现象，延续了下去。他们说，达罗是一个时运不济的人，在大萧条时期，他通过努力工作和取悦朋友和家人的愿望，从一片废墟中崛起。最后，他以一款庆祝资本主义社会盛衰的房地产棋盘游戏，收获了一笔财富。

大富翁游戏是历史上最受欢迎的桌游之一，不过它的真正起源，涉及到一位名叫伊丽莎白·马吉的女权主义发明家，她对单一税制理论很感兴趣，还有一款在不同的知识界流传的桌游，还有一项早于达罗出售大富翁游戏 30 年的小专利。

1866年，伊丽莎白·马吉（Elizabeth Magie，又名莉齐）出生在伊利诺斯州的马库姆（Macomb）。从很小的时候起，马吉就被身边知识分子的氛围所包围着。

马吉的父亲詹姆斯是一名报纸出版商，他甚至参加了伊利诺伊州的反垄断竞选，尽管他输了。19 世纪 50 年代，他陪着亚伯拉罕·林肯在全国各地辩论政治。据《纽约时报》报道，玛吉长得像她的父亲。她说：

我经常被称为“老木块上的一块碎片”，我认为这是一种恭维，因为我为我的父亲感到骄傲，因为他就是那种“老木块”。

詹姆斯·马吉给了他年幼的女儿伊丽莎白·马吉，一本亨利·乔治的书《进步与贫困》，这本书认为人们应该拥有他们创造的一切，而土地也属于每个人。这篇文章影响了马吉对经济的理解，教会了她“土地价值税”或“单一税”的概念。

单一税收理念表明，土地应该是唯一以政府征税的实体。从理论上说，这种模式会让富人和土地所有者，承担一个地区的大部分税收。

这个概念在19世纪后期非常流行，因为像洛克菲勒这样的巨富家庭，和许多生活在贫困中的普通美国人之间，形成了鲜明的对比。

马吉花了数年时间完善《大地主游戏》（The Landlord's Game），终于在 1903 年 3 月 23 日向美国专利局申请了专利。在马吉最初的这款游戏中，玩家每次经过 Mother Earth Space 时，都会获得 100 美元的工资，以表彰他们“在 Mother Earth 上付出的劳动”，以此向反垄断作家亨利·乔治致敬。

垄断版依靠的是人类的竞争欲望和摧毁对手的剧情，而反垄断版则是所有玩家只要获得财富，就会获得奖励。可以说，马吉希望玩家能够理解经济硬币的两面性。她在政治杂志《单一税收评论》上写道：

这是对现有的土地掠夺制度，及其所有通常的结果和后果的实际展示……它也可以被称为“人生游戏”，因为它包含了现实世界中所有成功和失败的因素，其目标与一般人类似乎拥有的目标是相同的，即财富的积累。

玛丽·皮隆在2015年写了《垄断者：痴迷、愤怒和世界上最受欢迎的棋盘游戏背后的丑闻》，讲述了大富翁游戏隐藏的起源故事。她声称，马吉是她那个时代的垄断行业，即石油、铁路和钢铁行业的激烈对手。马吉想让她的游戏，展示垄断者是如何以牺牲人类同胞（和其他玩家）为代价，获得巨额金钱和财富。1906年，马吉告诉记者：

在很短的一段时间内，我希望我可以在很短的一段时间内，人们会发现他们之所以贫穷，都是因为卡内基和洛克菲勒，也许，拥有的东西太多了，他们不知道该怎么花。

一旦《大地主游戏》离开了马吉的手，它就有了自己的生命。它在大学校园和美国东北部的左翼知识分子中流行起来，让玩家有机会体验未曾有过的自由财务生活。

新泽西州大西洋城的贵格会（Quaker）社区，也特别喜欢马吉的游戏，他们甚至用大西洋城的街道名称和房产，来重新命名棋盘上的矩形方格。

当马吉对单一税收理论感兴趣，并反对垄断时，达罗是大萧条时期的一个失业商人，1932年，他在费城的一个朋友家里玩了一个版本的马吉游戏。

很快，达罗开始痴迷于这个游戏，他要了手写的游戏规则，开始开发自己的版本，并使用了贵格会对大西洋城财产空间的改编。与马吉不同，达罗据说是想给他的朋友和家人一个娱乐的消遣，并没有打算教授原作者想要提供的反垄断理论。

1935 年，帕克兄弟开始销售他们从查尔斯·达罗那里买来的大富翁游戏，把它做成一张厨房桌子大小的圆形油布。不过最初，帕克兄弟公司是拒绝的，认为关于房地产的游戏并不刺激，也游戏耗时太长，难度太大。

然而，在看到达罗独立制作的游戏版本，在宾夕法尼亚州费城的销售情况后，帕克兄弟很快改变了他们的想法，并大量利用了达罗所谓的白手起家的故事。他们宣传达罗白手起家的壮举，声称是他自己凭空发明了一款游戏。

当整个国家陷入大富翁热潮时，马吉突然意识到自己被骗了。她愤怒并感受到了伤害，在接受了多家报纸的采访后，她在这款游戏中所扮演的角色，可以追溯到1903年，她的贡献应该被考虑在内。

尽管马吉大声疾呼，但帕克兄弟已经把查尔斯·达罗和他白手起家的发明故事，卖得太好了。许多人包括很多当时的媒体，并不在乎马吉对这个事件的说法。在 20 世纪 30 年代中期，帕克兄弟购买了与大富翁有关的所有游戏的版权，包括马吉仍然拥有的《大地主游戏》专利，价格为 500 美元，而且没有版税。

查尔斯·达罗因为大富翁游戏的版税和销售，而变得非常富有，他已经可以完全放弃原来的工作。另一方面，马吉在 1948 年去世时，她的墓碑和讣告中，几乎没有提到她参与了世界上最受欢迎的棋盘游戏之一的文字。

当马吉在 1936 年接受报纸采访时，谈到《大富翁》为其支付的 500 美元时，报纸称：“如果算上开发游戏所花费的律师费、印刷费和专利局的费用，这款游戏的花费，可能比她从中赚到的还多。”

一个根植于激进的经济、社会制度和女权主义理论的游戏，被一个资本主义商人窃取、重新包装和曲解，变成一个促进残酷的资本主义、掠夺性垄断继续发展的游戏。真是富有戏剧性！

进步与贫困

孙中山读过《万国公报》上的译文，推崇该书。在一次演讲中，他称道佐治“曾著一书名为《进步与贫困》，其意以为世界愈文明，人类愈贫困，盖于经济学均分之不当，主张土地公有。其说风行一时，为各国学者所赞同，其阐发地税法之理由，尤为精确，遂发生单税社会主义之一说”。廖仲恺认为，《进步与贫困》一书中的理论是孙中山三民主义的思想酵母。

亨利·乔治是美国十九世纪末期的知名社会活动家和经济学家。他认为土地占有是不平等的主要根源，提倡征收单一地价税的主张，曾经在欧美一些国家盛行一时，颇有影响。由于他主张土地国有，征收地价税归公共所有，废除一切其他税收，使社会财富趋于平均。孙中山的民生主义思想，正如大家知道的那样，是与美国十九世纪末期的社会活动家和经济学家亨利·乔治有密切关系。

亨利.乔治直接提出，经济发展不一定会缓解贫困，反而有可能加剧贫困，"物质进步不仅不能解脱贫困，实际上它产生贫困"。虽然经济革命使生产力上升，但它不一定是在底部对社会结构起作用，把整个社会都抬高，反而"好像一个巨大的楔子，在社会的中部穿过去。那些在分裂点以上的人们处境上升了，但是那些在分裂点以下的人们被压碎了。"

尽管生产能力增加，为什么工资趋向仅能维持生活的最近限度？

流行的工资理论认为“工资由劳动者人数和用语雇佣劳动力的资本数额之间的比率决定”，即工资是来自于资本。如果工资来自于资本的话，那么高工资就意味着低利息，低工资意味着高利息，因为工资的支付要寻求资本，资本是追求的是高利息。但现实中是相反的，高工资的地方同样存在高利息。因此，亨利·乔治认为，“工资的决定因素是工资与生产量的比率”。

“工资不是来自资本，它实际上来自以工资购买的劳动力的产品。”过去，劳动直接从大自然中得到物品，即自己的工资，而现在劳动得到的是货币。我们需要通过货币换取东西。

而生产能力提高的同时，地租趋向更大的提高，因而产生迫使工资不断下降的趋势。"它的逻辑是这样的，毛利要用来支付工资、利息和地租。亨利·乔治认为地租不断上升，吃掉了原应属于工资的那一份要素报酬，所以工资不断下降。工人们的收入被地主占有了。

"我提议的不是收购私有土地，也不是充公私有土地。前者是不公正的；后者是不必要的。.......如果我们取得了核仁，可以让他们据有外壳。没有必要充公土地；只有必要充公地租。"

现在有两个同样收入的人，一个人的收入来自他劳动的使用，另一个人的收入来自地租。要他们同样负担国家的费用，公平吗？显然不。

一个人的收入代表了他创造的财富，并把它加进国家的总财富中；另一个人的收入只代表他从财富总量占有的一份，他没出一点力。一个人享受他收入的权利以自然的正当理由为基础，自然把财富报答劳动；另一个人享受他收入的权利仅仅是虚构的权利，是社会法规的创造物，是不为自然所知道和承认的。

有人告诉当父亲的，他必须以劳动所得抚养孩子，他必定默认，因为这是自然的命令；但只要还有一个便士属于从垄断自然机会中取得的收入，此人便可以公正地要求不能从他用劳动获得地收入中取走一个便士，因为自然机会是大自然公平地给予所有人的，是他的孩子生下来就有的权利，他们也有平等的一份。

租上涨不创造社会的总财富，只是一种财富分配的手段，使得那些房地产所有者获利，而这些钱原本是应该属于整个社会的。所以，充公地租有其合理性。当然，实际操作难度很大。亨利·乔治的意思是，应该设法让大部分的地租收益分配给全体人民。

只要现代进步所带来的全部增加的财富只是为个人积累巨大财产，增加奢侈，使富裕之家和贫困之家的差距更加悬殊，进步就不是真正的进步，它也难以持久。这种情形必定会产生反作用。塔楼在基础上倾斜了，每增加一层只能加速它的最终崩溃。对注定必然贫穷的人进行教育，只是使他们骚动不安。把理论上人人平等的政治制度建筑在非常显著的社会不平等状况之上，等于把金字塔尖顶朝下竖立在地上。

垄断与反垄断

“垄断”又名“独占”，带有对于资源和市场的排他性独享效益，独占某一块市场是获利的最高阶段，是古今任何商人的毕生之追求。

“垄断”作为一个特定的经济概念被经济学家关注，有超过 200 年的历史。1776 年，经济学开山鼻祖亚当·斯密出版了《国富论》。在这本著作中，他对“垄断”有过论述。斯密所说的“垄断”指向各种政治限制，包括法律限制，比如法律给制鞋商垄断地位等。这就是后来学界所关注的“特许权”的原型与前身。

“垄断”(monopoly)一词在英文中最初是指什么？是指从王室获得的特许经营权，最具代表性的是 1600 年英国伊丽莎白女王特许成立的东印度公司，这个特许的公司被授权独家经营英国与印度及远东之间的贸易。简单地说，垄断就是官方授予的排他性生产和（或）经营某种产品和服务的权利。这就是垄断的原初含义。

工业革命催生了产业与商业的蓬勃发展。古典经济学演绎到新古典经济学时代，经济学家跳出传统视野，“垄断”的内涵变得丰富、学究起来。欧文·费雪从学理上改变前辈的思考方式，把“垄断”定义为“竞争的缺乏”。在新古典经济学看来，“垄断”与“完全竞争”是截然对立的，“垄断”会通过价格调节损害社会福利。这不仅赋予“垄断”全新的经济学含义，也为后来的反垄断埋下了伏笔。市场独占、掠夺性定价、倾销、捆绑销售、限制竞争等成为“垄断”的标签。反垄断最有代表性的国家——美国,正是以此为依据展开长达 100 年的反垄断实践。

即便如此，垄断理论的演绎也呈现出了分化态势，新古典经济学关于“垄断”的学说面临着其他学派的巨大挑战。其中最有代表性的是约瑟夫·熊彼特的创造性破坏理论与奥地利学派市场竞争过程理论。

熊彼特的经济理论主要阐述经济发展的基本规律，他提出的“创造性破坏的创新理论”描述了经济发展过程中技术演进的方式，从根本上否定了技术垄断、技术独占的可能性。而这种可能性几乎是反垄断不可或缺的基石。奥地利学派将市场看成是一系列行动交互作用的连续过程，产品定价、捆绑销售、技术开发等都面临着无数的可能性与挑战，没有什么因素可以维持长久的垄断地位。在奥地利学派看来，真正的垄断只有一种——行政垄断或政府垄断，即牌照管制。

以蒸汽为动力的机器的广泛使用引发人类历史上第一次产业革命，分工与专业化大大提高了工作效率，促进了资本的集中与规模经济的壮大，大公司、大企业层出不穷。与此同时，市场竞争日趋激烈，企业组织变革加剧，兼并、重组等大鱼吃小鱼的活动走上前台。随之而来的就是反垄断的呼声日渐高涨。1890年，美国出台了世界上第一部反垄断法——《谢尔曼反托拉斯法》。

20世纪以来，美国开展了一系列反垄断司法行动，但反垄断诉讼并没有给经济效率、技术创新、商业秩序、社会福利等带来预期的效果，倒是给人们提供了更多的思考。

由于法学界对“垄断”缺乏严谨的界定，在具体的裁决中，法官并不能完全遵循合理规则，有时仍旧陷入“大而有罪论”的惯性思维。

反垄断并没有解决垄断问题，拆分也不能解决垄断问题。人们曾普遍认为对美国电话电报公司的拆分，推动了通讯领域的竞争与创新。不过，人们很快反应过来，打败垄断的并非反垄断，而是技术创新——后来蓬勃发展的信息革命。经济学家保罗·萨缪尔森对此评论道：“美国电话电报公司的解体，向人们清楚地揭示了这样一个真理：迅猛发展的技术革新，并不需要依赖于垄断的力量。”

现在经济学界有一个基本的共识和挑战是，如何在推动竞争与保持创新活力之间求得平衡？这实际上是经济学理论与现实经济观察之间矛盾的反映：一方面，按照经济学理论，竞争是好的，垄断是坏的，你要促进竞争，就要消除垄断，限制大企业；另一方面，现实观察表明，最具创新能力的企业通常也是有一定“垄断”地位的企业，这些企业也有更多的资源用于创新，因此，要保护创新就要允许企业保持垄断。这个矛盾的根源是什么？就是经济学本身关于垄断和竞争的概念有问题。

按照主流经济学的定义，所谓“完全竞争”，就是每一个行业都有好多个企业，有无数的竞争者；每一个企业都如此之小，对产业整体不会造成任何实质性影响；而且，每个企业都用同样的技术、以同样的成本生产同样的产品，卖一样的价钱。按照主流经济学的逻辑，只有满足这些条件，市场才是最好的，竞争的结果才会达到帕累托最优。一旦偏离这个完全竞争模型，就形成垄断。

经济学家还根据一个行业中生产者数量的多寡，区别了不同形式的垄断，包括独家垄断（只有一个生产者）、寡头垄断（有几个大生产者）、垄断竞争（又称“不完全竞争”）（多个小的生产者但每个生产者的产品有一定的差异）。但无论哪种形式的垄断，都会带来效率损失，使得帕累托最优不能实现。

主流经济学有关竞争和垄断带来的效率损失可以用一个简单的需求-供给几何图说明。完全竞争意味着企业面临的需求曲线一定是水平的，因而没有任何定价权，最优生产决策在价格等于边际成本点达到，因而从社会的角度看是最优的。反之，任何一个企业，如果面临的需求曲线是向下倾斜的，就有了影响价格的市场力量：价格上升需求会降低，价格下降需求会增加。此时，由边际收益和边际成本决定的个人最优价格高于边际成本，因而带来社会净损失，所以非完全竞争的市场不可能是有效的。

反垄断最大的问题是如何界定市场的范围、如何确定企业有无定价权、定价时是否进行了垄断定价。

土地与财富

大富翁游戏中你可以发现一个非常有效的赢得游戏的思路：

资本家不断收购房地产，并向过路者收租的经济模型，最终会导致富者越富，贫者越贫，最后赢家通吃，其他人通通破产。

只有购买更多的土地和盖更高的楼房，收取最贵的过路金才能跻身富豪榜，所以游戏一开始就是囤地建房买房，利用拍卖卡提升房价。游戏中的土地资源是有限的，而所有的玩家都需要大量的土地和房产，所以整体总是供不应求，只要玩家手中还有现金就会买地买房，为了前期财富的原始积累。

游戏以买地买房为主，然而有时玩家手中的现金并不够买下土地和房产时，为了实现这个目标，玩家可以采取向银行贷款的方式，和现实中一样银行放贷，借贷者付息。

英国《经济学人》杂志发布一份名为“全球裙带资本主义指数”的榜单显示，香港已成为全球裙带资本主义最严重的地方，财富集中度接近 80%。

《经济学人》选取了23个国家和地区作为研究对象——五个最大的发达国家，十个最大的发展中国家，以及其他八个小一些但是通常被认为裙带资本主义严重的国家。来自寻租重灾区富豪的个人财产所占国际GDP比例越高，则经济体越容易遭受裙带资本主义的侵蚀。

至于何谓“寻租重灾区”行业，《经济学人》同样给出了自己的判断——那些容易垄断、需要牌照或政府参与的行业。具体而言，这些行业包括：赌博、煤炭、棕榈油、木材、军工、银行业、基础设施、石化、港口和机场、房地产、钢铁冶金和采掘、公用事业和通信等十个行业。

具体到为何香港名列第一，《经济学人》给出的解释是香港日益紧张的土地供应导致其不动产价格飞涨，而作为贸易中心，香港成为了游资炒作房产的目的地。长期以来，香港对于打击垄断行为过于松懈，直到两年前才通过一部《竞争法》。上述几种因素的叠加，导致香港房价上涨的利润都落入了几大地产商的口袋之中。

《经济学人》的统计图表中显示，香港富豪的财富占据地区GDP比例接近80%，其中接近 60% 的部分都是来自《经济学人》认为的寻租严重行业。而第二名俄罗斯富豪的财富只占据国家 GDP 的 20%。

作为一个除了地理位置和深水港外，几乎没有任何自然资源的城市型经济体，香港的绝大多数财富都来自贸易、加工工业和金融、法律等服务行业。根据香港贸易发展局的统计数据显示，2013 年香港 GDP 达到 2721 亿美元，同比温和上涨 2.9%。其中服务业占 GDP 比例 90% 以上。

香港亿万富豪的主要财富大多来自于经营房地产或其他垄断性的行业。相对于香港的经济规模，这些人的财富比例不但超乎寻常的大，而且增加速度比香港经济发展还快得多。有评论指出，这意味着真正为香港社会创造大部分新增财富的行业和工作者，反而在社会收入分配中受到了排挤和盘剥。

2013 年，香港家庭月收入中位数为 21900 港元。这意味着为了买一套总价六七百万港元的公寓，普通白领唯有耗尽一生积蓄，以数十年的辛勤工作换来一套 50 平方米的蜗居。尽管如此，他们已经比大多数人幸运了。2011 年，香港基尼系数高达0.537，再次延续了全球第一的“桂冠”。在香港 700 万常住人口中，有 123 万生活在贫困线以下。

其中，有大约 10 万人左右的居民生活在“笼屋”之中。所谓“笼屋”，就是将一间房子隔成一个个像火车硬卧的床铺，每层床铺用铁丝网围起来，然后就当作一个房子租出去的“住宅”。一张床大小的空间，人们在里面吃、住、睡，这就是“笼屋”居民的家。

尽管房地产商一再声明，香港的房价贵是因为“人多地少”。但实际上，香港虽然面积仅有约 1100 平方公里，但由于基本不存在农业和工业用地，可供开发居住的土地相当宽裕。然而为了保证丰厚的利润，香港地产商囤积大量土地而不开发。导致整个香港的土地开发率仅为 23.7%，其中用于住宅用途的土地开发面积更只有 76 平方公里，占土地总面积的 6.8%。

高昂的房价背后是地产大亨们赚取的惊人利润。香港消费者委员会经过对 13 个住宅项目考察之后发现，加上土地在内的所有开发成本，最低的收益是 77%，最高的是 364%。显然，居高不下的房价已经成为了普通香港家庭最大的压力，也压垮了赤贫阶层对生活的希望，更是新一届港府亟需解决的棘手问题。

听起来是不是跟大富翁游戏非常的像？

虽然土地和房产能带来很多财富，但会带来什么危害呢？我们以上世纪日本真实案例举例。

上世纪80年代的日本，经济发展堪称一个奇迹，其经济增长率、劳动生产率等都超过了美国，美元霸权地位开始动摇。以 1985 年为例，日本对外的净资产达到了 1298 亿美元，而美国在对外负债高达 1114 亿美元。

那是一个疯狂的时代，日本人的自信膨胀到了最高点，比如89年日本三菱地产斥资2000亿日元购买了美国纽约的洛克菲勒中心大厦，引起世界的轰动。当时的日本富电视台主持人在一次电视节目中，更是指着东京的地图自豪地说道：

“如今的东京总底价已经超过了美国全土的价格，很快将是美国的两倍。”

疯狂的日本人相信，很快日本将取代美国成为世界第一经济强国。物极必反，灾难很快降临了。

1991年，日本来到了二战后至暗时刻，这年东京房价暴跌65%。几乎一夜之间，无数人成为了千万负翁。到了1992年，股价更是暴跌到1990的三分之一左右，东京地价更是跌到了泡沫时期的七分之一，走投无路的房产投资者们，只能走向天台纵身一跃。

日本经济泡沫的产生，离不开“广场协议”。1985年，美、日、德、法、英五国在美国纽约广场饭店举行会议，决定联合干预外汇市场，促使美元有序贬值，史称 “广场协议”。协议一签订，五国在外汇市场疯狂抛售美元，美元贬值，其他四国货币相应升值。

日元升值带来了一个严重后果，日本出口型企业遭到致命打击，日本政府采取了宽松的货币政策，连续5次下调利率，利用很低的利率来放贷。而来自银行的大量贷款又流入了房地产，恶性循环开始了。

仅以 1987 年为例，东京平均房价涨幅就超过了 50%。房价的疯狂上涨，演变成日本全民从银行贷款买房，房价被再一次抬高。为了抑制防止地价进一步上涨，日本政府于 1990 年 3 月制定了《房地产融资总量规制》，同年12月又出台了《土地税制大纲》和《土地基本法》，但为时已晚。当房地产泡沫破裂后，日本人终于悟出了一个真理：只有发展实业才能救国，这才是立国之本，本坚持至今。

总结

大富翁这个游戏的本质就是通过积累早期收益使用经济杠杆购买资产后进行出租和垄断，然后再利用已有资产继续抵押购买新的资产，再将新的资产出租或者买卖的一种游戏。大富翁还告诉我们地拿多不是关键，要拿关键的地才是关键、投资地段是否连片，发挥规模经济效应。

在整理这篇文章的时候我发现了一篇将马尔科夫链与大富翁游戏结合的文章还是很有意思的，正好之前也写了篇马尔科夫链相关的文章：

马尔科夫（马尔可夫）决策过程浅析

简单讲解马尔科夫链（Markov Chain）和马尔科夫决策过程（Markov decision process）的区别，及马尔科夫决策过程的定义、公式、如何计算等。

QINQin

欧拉计划中文题解站 - 084. 大富翁概率(Monopoly odds)

084. 大富翁概率(Monopoly odds)

马尔科夫（马尔可夫）决策过程浅析

Qin — Mon, 05 Jun 2023 09:54:33 GMT

马尔科夫链（Markov Chain）是一种随机过程，它最初是由俄国数学家A. A. 马尔科夫在1907年提出的。它被广泛应用于自然科学、社会科学、工程技术等领域中的随机过程建模和分析。马尔科夫链是一种离散时间、离散状态的随机过程，其特点是当前状态只与前一状态有关，而与过去的状态无关。因此，马尔科夫链具有“无记忆性”的特点，即它的未来状态只与当前状态有关，而与之前的历史状态无关。马尔科夫链最初被应用于描述游走问题，即在一个由节点组成的图中，一个点从当前位置跳到下一个位置的概率只与当前位置有关，而与之前的路径无关。随着时间的推移，这个点可以在不同的节点之间进行跳跃。

马尔科夫链可以用于建模和分析这种过程，可以计算出在不同的时间步骤下，这个点处于不同节点的概率分布情况，从而可以预测未来的状态。除了游走问题，马尔科夫链还被应用于模拟和预测各种随机过程，如天气变化、股票价格变化、信用评级等。它也被用于解决各种实际问题，如自然语言处理中的语言模型、机器学习中的概率图模型等。而马尔科夫决策过程虽然与马尔科夫链名字很像，但是是两个概念，解决的问题和应用的场景也不太一样。

马尔科夫链是一种描述随机过程的数学模型，它假设当前状态只与前一个状态有关，而与之前的历史状态无关。马尔科夫链主要用于分析和预测离散时间、离散状态的随机过程，例如天气变化、股票价格变化、语言模型等。

马尔科夫决策过程是一种用于描述序列决策问题的数学框架，它将决策者需要在不确定环境中做出决策的问题形式化为一个状态空间、一个决策空间、一个状态转移概率和一个奖励函数。马尔科夫决策过程主要用于解决决策者需要在不确定环境中做出决策的问题，例如机器人导航、自动驾驶、资源管理、金融投资等。

简单来说马尔科夫链主要用于预测和模拟随机过程，而马尔科夫决策过程则用于在不确定环境中做出最优决策。在某些情况下，马尔科夫链可以用于描述马尔科夫决策过程中的状态转移概率，但是它并不能提供最优决策策略，因此在序列决策问题中并不能完全替代马尔科夫决策过程。

马尔科夫决策过程（Markov decision process, MDP）最初被应用于解决决策问题，特别是在控制领域和人工智能领域中。具体来说，它可以用于解决决策者需要在不确定环境中做出决策的问题，例如机器人导航、自动驾驶、资源管理、金融投资等。

在这些问题中，决策者需要通过观察环境状态并根据自己的目标做出一系列的决策，每个决策都会影响未来的状态和奖励，从而影响最终的决策结果。MDP 提供了一种形式化的方法来描述这类问题，它将问题抽象为一个状态空间、一个决策空间、一个状态转移概率和一个奖励函数。具体来说，MDP 将问题的状态抽象为状态空间中的一个状态，将决策抽象为决策空间中的一个行动，将状态转移抽象为状态转移概率，将行动的奖励抽象为奖励函数。在此基础上，MDP 提供了一种数学方法来计算最优的决策策略，即在每个状态下选择最优的行动，以达到最大化总体奖励的目标。当我们需要做出一系列决策时，比如在游戏中选择下一步该怎么走，或者在自动驾驶中决定汽车下一步应该往哪里开，我们需要考虑现在的状态和未来可能的状态，并且需要知道每个决策对未来状态和奖励的影响。

马尔科夫决策过程就是为了解决这类问题而提出的数学框架。它将问题形式化为一个状态空间、一个决策空间、一个状态转移概率和一个奖励函数。我们可以用这些概念来计算出最优的决策策略，以达到最大化总体奖励的目标。

可以这样想象：你正在玩一个冒险游戏，游戏中有许多关卡。每个关卡都有不同的难度和奖励，你需要决定每个关卡应该选择哪个决策来取得最大的奖励。在每个关卡中，你需要考虑当前的状态（例如：你的角色现在的血量、装备、位置等等），以及每个决策对未来状态和奖励的影响（例如：选择攻击还是逃跑、选择哪个道具等等）。通过使用马尔科夫决策过程，你可以计算出每个决策的期望收益，选择最优的决策策略，以达到最大化总体奖励的目标。它能够帮助我们在不确定环境中做出最优的决策。

那我们将 MDP 拆解成两个部分来讲解：状态转移和奖励，也就是马尔科夫过程和马尔科夫奖励过程来讨论马尔科夫决策过程。在实际应用中，马尔科夫过程和马尔科夫奖励过程通常是分开建模的。首先，根据问题的特点和需求，建立马尔科夫过程模型，计算出状态转移概率；然后，在此基础上建立马尔科夫奖励过程模型，计算出每个状态下采取不同决策所获得的奖励值。最终，利用这些模型，可以计算出最优的决策策略，以达到最大化总体奖励的目标。

马尔科夫过程

马尔科夫过程是一种随机过程，它可以用来描述许多实际问题中的状态转移，例如股票价格的变化、语音信号的识别、分子的运动等。在马尔科夫过程中，当前状态的未来状态只与当前状态有关，而与过去状态无关，因此具有“无记忆性”。马尔科夫过程由状态空间和转移概率矩阵组成，其中状态空间是所有可能状态的集合，转移概率矩阵描述了从一个状态到另一个状态的概率。马尔科夫过程在金融学、自然语言处理、机器学习、生物学和物理学等领域中都有广泛的应用。

马尔科夫过程由状态空间和转移概率矩阵组成。状态空间是指所有可能的状态的集合，而转移概率矩阵描述了在一个状态下，转移到另一个状态的概率。这些转移概率必须满足概率的基本性质，即每个状态的概率值必须在 0 和 1 之间，而且所有状态的概率之和必须等于 1。

当我们走在路上时，我们的位置可以被看作是一个状态，而我们的移动可以被看作是状态之间的转移。如果我们假设我们有一个内置的“导航系统”，并且该系统可以通过观察我们当前的位置和周围的环境来预测我们可能要去的地方，那么我们的移动就可以被建模为一个马尔科夫过程。在这种情况下，当前位置是状态空间的一部分，而我们从一个位置到另一个位置的转移概率可以被看作是我们在不同方向上行走的可能性。

当我们描述一个离散时间的马尔科夫过程时，可以使用状态转移矩阵来表示状态之间的转移概率。假设我们的状态空间中有 $n$ 个状态，状态转移矩阵 $\mathbf{P}$ 是一个 $n \times n$ 的矩阵，其中 $\mathbf{P}_{ij}$ 表示从状态 $i$ 转移到状态 $j$ 的概率。则状态转移矩阵的一般形式可以表示为：

$$
\mathbf{P} = \begin{bmatrix}
P_{11} & P_{12} & \cdots & P_{1n} \\\\
P_{21} & P_{22} & \cdots & P_{2n} \\\\
\vdots & \vdots & \ddots & \vdots \\\\
P_{n1} & P_{n2} & \cdots & P_{nn}
\end{bmatrix}
$$

其中，每个元素 $P_{ij}$ 必须满足以下条件：

$$0 \leq P_{ij} \leq 1, \qquad \sum_{j=1}^n P_{ij} = 1, \qquad i,j=1,2,\cdots,n$$

这些条件确保了每个状态的转移概率在 0 和 1 之间，并且每个状态从一个状态转移到另一个状态的概率之和为 1。状态转移矩阵是马尔科夫过程中一个非常重要的概念，它可以用于分析和预测随机过程的行为和性质。

马尔科夫过程可以用一个简单的公式来表示：

$$P(X_{t+1} = j \mid X_t = i, X_{t-1} = i_{t-1}, \ldots, X_0 = i_0) = P(X_{t+1} = j \mid X_t = i)$$

其中 $X_t$ 表示在时间 $t$ 的状态，$i,j$ 分别表示状态空间中的两个状态，$P(X_{t+1} = j \mid X_t = i)$ 表示从状态 $i$ 转移到状态 $j$ 的概率。

当我们想要建立一个马尔科夫过程来描述天气的变化时，可以将天气的状态定义为晴天、多云和雨天。我们可以使用状态转移矩阵来描述每个状态之间的转移概率。假设我们观察的时间间隔为一天，我们可以根据历史数据来估计天气状态之间的转移概率。例如，我们可能会得到以下状态转移矩阵：

$$
\mathbf{P} = \begin{bmatrix}
0.7 & 0.2 & 0.1 \\\\
0.4 & 0.4 & 0.2 \\\\
0.3 & 0.3 & 0.4
\end{bmatrix}
$$

这个矩阵表示，如果今天是晴天，那么明天有 $70%$ 的概率还是晴天，$20%$ 的概率变成多云，$10%$ 的概率变成雨天。同样地，如果今天是多云，明天有 $40%$ 的概率还是多云，$40%$ 的概率变成晴天，$20%$ 的概率变成雨天。如果今天是雨天，那么明天有 $30%$ 的概率还是雨天，$30%$ 的概率变成多云，$40%$ 的概率变成晴天。

假设我们现在知道今天是晴天，我们想知道三天后的天气状态。我们可以使用状态转移矩阵来计算：

$$
\begin{aligned}
& P(X_3 = \text{晴天} \mid X_0 = \text{晴天}) \\\\
= & P(X_3 = \text{晴天} \mid X_2 = \text{晴天}) P(X_2 = \text{晴天} \mid X_1 = \text{晴天}) P(X_1 = \text{晴天} \mid X_0 = \text{晴天}) \\\\
= & P_{11}^2 P_{11} \\\\
= & 0.7^2 \cdot 0.7 \\\\
= & 0.343
\end{aligned}
$$

这意味着在未来三天中，有 $34.3%$ 的概率天气一直是晴天。

马尔科夫奖励过程

马尔科夫奖励过程（Markov Reward Process）是一种用于描述序列决策问题的数学模型，其在强化学习中被广泛应用。

马尔科夫奖励过程描述了一个智能体在与环境进行交互时所经历的状态和对应的奖励。在每个时间步，智能体根据当前状态采取某个动作，然后转移到一个新的状态，并获得一个相应的奖励。

假设你正在玩一款游戏，你需要通过控制游戏中的角色来获得尽可能高的分数。在这个游戏中，你的角色可以在不同的位置上，而每个位置上都有不同的分数奖励。此外，你的角色每次移动都会消耗一定的能量。

现在我们可以将这个游戏建模成一个马尔科夫奖励过程。每个时间步，你的角色处于一个特定的位置，然后你需要选择一个移动方向，从而使角色转移到一个新的位置，并获得相应的分数奖励。这个过程中，每个位置的分数奖励和移动方向的能量消耗是固定的，因此我们可以将这个过程看作是“马尔科夫”过程，即当前状态只依赖于前一状态，而不依赖于更早的状态。

在这个过程中，你的目标是通过选择最优的移动方向，使得你的角色能够获得尽可能高的总分数。因此，我们可以使用期望回报作为评估标准，即选择使得期望总分数最大的移动方向。

马尔科夫奖励过程（Markov Reward Process）可以用以下公式来表示：

$$\begin{aligned} G_t &= R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \ldots = \sum_{k=0}^\infty \gamma^k R_{t+k+1} \end{aligned}$$

其中，$G_t$ 表示从时间步 $t$ 开始所获得的期望回报（expected return），$\gamma$ 表示衰减因子（discount factor），$R_{t+1}$ 表示在时间步 $t+1$ 获得的实际奖励（reward）。

期望回报可以分解为当前时刻获得的奖励 $R_{t+1}$ 和从下一时刻开始所获得的期望回报 $\gamma G_{t+1}$ 的和，其中 $\gamma$ 表示衰减因子，用于逐渐降低未来奖励的权重。

智能体需要做出一系列决策，以获得尽可能高的累计奖励。然而，由于环境的复杂性和随机性，未来的奖励往往比当前的奖励更加不确定，因此智能体需要谨慎地权衡眼前的奖励和未来的奖励。

衰减因子的作用就是逐渐降低未来奖励的权重，使得智能体更加重视眼前的奖励。具体来说，衰减因子的取值范围通常在 $0$ 到 $1$ 之间，当衰减因子接近 $0$ 时，未来奖励的权重会快速降低，从而使得智能体更加关注当前的奖励，而当衰减因子接近 $1$ 时，未来奖励的权重会缓慢降低，从而使得智能体更加平衡当前和未来的奖励。

假设你是一名学生，现在要决定如何分配时间来学习和休息，以获得最好的成绩。在这个例子中，你可以将自己看作是一个智能体，学习和休息是可以选择的行为，成绩是奖励信号。

现在假设你有两个选择：学习或者休息。如果你选择学习，你将获得当前的学习效果，但是你需要消耗一定的体力和时间。而如果你选择休息，你可以恢复体力，但是无法获得任何学习效果。

在这个例子中，你可以将衰减因子看作是你对未来学习效果的重视程度。当衰减因子较小时，你更加关注眼前的学习效果，而较少考虑未来的学习效果。例如，如果你的衰减因子为 $0.1$，那么你会更倾向于选择学习，因为眼前的学习效果可以帮助你获得更高的奖励，即更好的成绩。

然而，当衰减因子较大时，你更加平衡当前和未来的学习效果。例如，如果你的衰减因子为 $0.9$，那么你会更加关注未来的学习效果，因为你知道未来的学习效果对于获得更高的奖励也非常重要。在这种情况下，你可能会更倾向于选择休息，以便在未来更好地学习。

智能体在每个时间步 t 观测到现在状态 $s_{t}$，并执行某个行动 $a_{t}$转换到下一个状态$s_{t+1}$，得到奖励 $R_{t+1}$。然而，由于环境的随机性和不确定性，相同的状态和行动可能会导致不同的奖励，即 $R_{t+1}$可能会是一个随机变量并服从某一概率分布。

为了描述这种随机性，我们通常会假设每个状态和行动对应一个概率分布，表示在这个状态和行动下获得每个奖励的概率。

在实际应用中，我们通常会假设奖励分布是一个均值为 $\mu$，方差为 $\sigma^2$ 的高斯分布。但奖励分布不一定是高斯分布，而可以是任何分布。在实际应用中，我们需要根据具体的环境和任务来选择合适的奖励分布模型，并且根据实际情况进行调整。

值函数

值函数是马尔科夫决策过程中的一个重要概念。简单来说,它衡量采取某个动作后,可以获得的长期回报。

通过值函数,我们可以:

估计每个状态下最优动作。值函数较高的状态对应的动作通常就是最优动作。
找出策略。我们通过对每个状态选择可以获得最大值函数的动作,就构造出了一个策略。
评价和改进策略。我们可以计算策略在每个状态下能获得的期望回报(值函数),从而评价和改进策略。

可以想象成一个投资问题。当你有现金可以投资时,需要选择投资渠道。不同的投资渠道有不同的回报率。

你的状态就是持有的现金数额。你的动作是选择不同的投资渠道。值函数则代表从当前状态(持有现金数额)采取对应动作(投资)后,可以获得的期望长期回报。

值函数的公式可以写为:

$V_t(s) = E[G_t | S_t = s]$

$V_t(s)$: 状态s 在时间t时的价值函数。

$G_t$ 参考上面。

简单来说,值函数是从当前状态 s 开始长期回报的期望值,将未来的回报用 gamma 折扣。通过遍历所有状态 action 对，选择可以获得最大值函数的 action ，就构造出了最优策略。值函数满足贝尔曼方程:

$V_t(s) = E[R_{t+1} + \gamma V_{t+1}(s') | S_t = s, A_t = a]$

也就是说,状态 s 下的价值等于采取 action a 后获得的即时回报加上 gamma 衰减后的下一个状态 s' 的价值。通过不断更新各个状态的价值,终将收敛到最优价值，从而获得最优策略。

价值函数定义了每个状态的期望未来回报,但并不能直接计算出来。因此我们需要贝尔曼方程,通过回报和下一状态的价值,迭代的不断更新每个状态的价值函数,最终收敛到最优价值。

状态值函数

用符号 $V_{\pi}(s)$ 表示。状态值函数给出了在状态 $s$ 下，遵循策略 $\pi$ 的期望回报。换句话说，它表示了在当前状态 $s$ 下，按照策略 $\pi$ 采取行动所能获得的长期收益。这个函数的定义如下：

$V_{\pi}(s) = \mathbb{E}_{\pi}[G_t | S_t = s]$

这里，$G_t$ 表示累积回报，它是从时刻$t$开始的未来奖励的折扣和。$\mathbb{E}_{\pi}$ 表示在策略 $\pi$ 下的期望。

动作值函数

用符号 $Q_{\pi}(s, a)$ 表示。动作值函数表示在状态$s$下采取动作$a$，然后遵循策略 $\pi$ 的期望回报。换句话说，它表示了在当前状态 $s$ 下，首先采取动作$a$，然后按照策略 $\pi$ 进行行动所能获得的长期收益。这个函数的定义如下：

$Q_{\pi}(s, a) = \mathbb{E}_{\pi}[G_t | S_t = s, A_t = a]$

与状态值函数类似，$G_t$ 表示累积回报，$\mathbb{E}_{\pi}$ 表示在策略 $\pi$ 下的期望。

状态值函数关注的是在某个状态下遵循特定策略的期望回报。它仅基于当前状态来评估长期收益，不考虑选择哪个动作。换句话说，状态值函数表示在状态下遵循策略的平均表现。动作值函数关注的是在某个状态下采取某个动作，然后遵循特定策略的期望回报。它基于当前状态以及采取的动作来评估长期收益。动作值函数表示在状态下采取动作并遵循策略的平均表现。

马尔科夫决策过程

在马尔科夫决策过程中，我们有一个智能体，它在一个马尔科夫过程中进行决策，每次决策都会导致状态的转移和获得即时奖励。智能体的目标是通过选择动作来最大化未来奖励的期望值。

MDP（马尔科夫决策过程）通常用马尔科夫决策过程是个五元组：$$，其中：

S 表示状态集合，代表智能体可能处于的所有状态。
A 表示动作集合，代表智能体可以采取的所有动作。
P 表示转移概率函数，它描述了在当前状态下执行某个动作后，智能体将转移到下一个状态的概率分布。
R 表示奖励函数，它描述了在某个状态下执行某个动作所获得的即时奖励。
$\gamma$ 表示折扣因子。

在决策过程中，策略是指一种映射关系，它将每个状态映射到一个动作上。简单来说，策略就是一个决策规则，告诉智能体在特定状态下应该采取什么样的动作。

策略可以是确定性的，也可以是随机性的。确定性策略是指对于每个状态，都有一个确定的动作与之对应；随机性策略是指对于每个状态，都有一定的概率分布来描述应该采取哪些动作。

策略 π 依赖于当前状态，与历史无关且是固定的。

在马尔科夫决策过程中，策略 $\pi$ 是一个从状态集 $S$ 到动作集 $A$ 的映射函数，它规定了在每个状态下应该采取什么动作。可以将策略 $\pi$ 表示为：

$$
\pi: S \rightarrow A
$$

在马尔科夫决策过程中，智能体的目标是找到一个最优策略 $\pi^*$，使得在该策略下获得的长期累积奖励最大化。为了找到最优策略，我们可以使用值函数来评估每个策略的好坏，并且通过迭代更新值函数，从而得到最优策略。

具体来说，我们可以定义状态值函数 $V^{\pi}(s)$ 和动作值函数 $Q^{\pi}(s,a)$。其中，$V^{\pi}(s)$ 表示在状态 $s$ 下执行策略 $\pi$ 获得的长期累积奖励，而 $Q^{\pi}(s,a)$ 则表示在状态 $s$ 下执行动作 $a$，然后按照策略 $\pi$ 继续执行获得的长期累积奖励。

给定一个马尔可夫的决策过程和策略 π 便可以转换成马尔可夫过程和马尔科夫奖励过程。这也是马尔科夫决策过程，马尔科夫过程和马尔科夫奖励过程的联系。

马尔科夫过程是马尔科夫决策过程的特例，其中没有动作的概念。因此，马尔科夫过程是一个包含状态集、状态转移概率函数的随机过程，它描述了一个具有马尔科夫性质的随机系统。

马尔科夫奖励过程是马尔科夫过程的一个扩展，它增加了一个奖励函数来衡量智能体在某个状态下采取某个动作所获得的奖励。因此，马尔科夫奖励过程包含状态集、状态转移概率函数、奖励函数和折扣因子，它描述了一个带有奖励的马尔科夫性质的随机系统。

马尔科夫决策过程是一个更加通用的模型，它包含了马尔科夫过程和马尔科夫奖励过程，并且还增加了决策变量和策略函数。马尔科夫决策过程描述了一个具有马尔科夫性质、带有奖励的随机系统，并且智能体可以在每个状态下根据策略函数来决定采取哪个动作，从而最大化长期累积奖励。

下面的例子由 GPT4 生成，已经人工修改过一遍，仍然可能存在错误，仅供参考。

假设一个3x3的网格世界，机器人的任务是从起始位置（0,0）到达目标位置（2,2），尽量避免障碍物（1,1）。网格表示如下：

+---+---+---+
| S |   |   |
+---+---+---+
|   | X |   |
+---+---+---+
|   |   | G |
+---+---+---+

S 表示起始位置，G 表示目标位置，X 表示障碍物。

状态（state）：在这个例子中，状态可以表示为机器人在网格中的位置，例如（0,0）或者（2,1）。

动作（action）：机器人可以采取的动作包括向上（U）、向下（D）、向左（L）和向右（R）。

转移概率（transition probability）：由于机器人可能因为控制错误或者环境不确定性导致转移不成功，我们可以为每个状态和动作定义一个转移概率。例如，从状态（0,0）向上移动的概率为0.8，向右移动的概率为0.1，向左和向下移动的概率为0。

奖励函数（reward function）：奖励函数定义了机器人在每个状态执行特定动作后获得的奖励。为了鼓励机器人尽快到达目标并避免障碍物，我们可以定义以下奖励函数：

达到目标位置：+10
撞到障碍物：-10
其他情况：-1（表示每走一步的代价）

接下来，我们需要为这个MDP定义一个策略（policy）来指导机器人的行动。策略是一个从状态到动作的映射，表示在某个状态下应该采取哪个动作。我们可以使用值迭代（Value Iteration）或策略迭代（Policy Iteration）等强化学习算法来求解最优策略。

以值迭代为例，计算过程如下：

初始化值函数 V(s) 为0。
迭代更新值函数，直到收敛：
对于每个状态 s，更新 V(s) 为：

$$V(s) = max_a [R(s, a) + γ * Σ P(s'|s, a) * V(s')]$$

其中，R(s, a) 表示奖励函数，γ 是折扣因子（通常选择 0.9 或者 0.99），P(s'|s, a) 表示转移概率。

3. 根据收敛后的值函数得到最优策略，对于每个状态 s，选择使得 Q(s, a) 最大的动作a作为策略输出：

$$π(s) = argmax_a [R(s, a) + γ * Σ P(s'|s, a) * V(s')] $$

经过值迭代后，我们可以得到一个最优策略，指导机器人在网格世界中达到目标位置并尽量避免障碍物。

我们首先将折扣因子 γ 设为0.99，并初始化值函数。下面是值迭代算法的一些关键步骤：

初始化值函数：

V(0,0) = 0   V(0,1) = 0   V(0,2) = 0
V(1,0) = 0   V(1,1) = 0   V(1,2) = 0
V(2,0) = 0   V(2,1) = 0   V(2,2) = 0

迭代更新值函数。对于每个状态，计算所有可能动作的期望值，并将值函数更新为最大期望值。例如，在状态（0,0）:

Q((0,0), R) = -1 + 0.99 * (0.8 * V(0,1) + 0.1 * V(1,0) + 0.1 * V(0,0))
Q((0,0), D) = -1 + 0.99 * (0.8 * V(1,0) + 0.1 * V(0,1) + 0.1 * V(0,0))

取最大的 Q 值更新 V(0,0)。

重复第2步，直到值函数收敛。收敛后的值函数示例：

V(0,0) = 47.3   V(0,1) = 62.4   V(0,2) = 52.9
V(1,0) = 62.4   V(1,1) = -10    V(1,2) = 85.2
V(2,0) = 52.9   V(2,1) = 85.2   V(2,2) = 100

根据收敛后的值函数计算最优策略。例如，在状态（0,0）：

π(0,0) = argmax_a [R((0,0), a) + γ * Σ P(s'|(0,0), a) * V(s')]

计算每个可能动作的Q值：

Q((0,0), R) = -1 + 0.99 * (0.8 * V(0,1) + 0.1 * V(1,0) + 0.1 * V(0,0)) = 61.6
Q((0,0), D) = -1 + 0.99 * (0.8 * V(1,0) + 0.1 * V(0,1) + 0.1 * V(0,0)) = 61.6

根据最大的 Q 值选择动作，例如，可以选择向上移动。

为所有状态计算最优策略。示例策略：

π(0,0) = R   π(0,1) = R   π(0,2) = D
π(1,0) = D   π(1,1) = X   π(1,2) = D
π(2,0) = R   π(2,1) = R   π(2,2) = G

根据上述最优策略，机器人将从起始位置（0,0）开始，向右移动到（0,1），然后向右移动到（0,2），向下移动到（1,2），最后再向下移动到目标位置（2,2），同时避免了障碍物（1,1）。

感谢 Ray 同学帮忙二次勘校。

OpenAGI: When LLM Meets Domain Experts 浅析

Qin — Sun, 23 Apr 2023 07:22:54 GMT

今天带来的论文是来自Rutgers University 大学的：《OpenAGI: When LLM Meets Domain Experts》。这篇论文文介绍了一种开放式人工智能（AGI）研究平台 OpenAGI，旨在用自然语言查询作为输入，通过大型语言模型（LLMs）选择、合成和执行外部模型，解决复杂的多步任务。本文的研究成果是一种新型的 AGI 研究平台，通过 LLMs 和各种扩展模型来处理复杂任务。该平台提供了一种自我改进的机制，以从任务反馈中进行强化学习，从而提高 LLM 的任务解决能力，形成自我完善的 AI 反馈循环。这种 LMMs 操作各种专家模型来解决复杂任务的方法是实现 AGI 的一种有前途的途径。然而，该方法仍然存在一些问题，例如如何平衡领域专家模型的准确性和深度学习模型的表现力，如何更有效地获取任务反馈等。这些问题需要进一步研究和探讨，以实现更好的 AGI 能力。

背景

在最近的 LLM 中像 GPT-3 brown2020language、 LLaMA touvron2023llama 和 Flan-T5 chung2022scaling 都表现出对自然语言的深刻理解以及生成连贯和上下文相关响应的能力。这为它们在涉及多模态数据的复杂任务中的应用开辟了新的可能性，例如图像和文本处理，以及特定领域知识的整合。在这个过程中，LLM 发挥了至关重要的作用，因为它们可以理解和生成自然语言，这有助于AI更好地理解和处理各种问题。通过整合来自不同领域的知识和技能，开放领域模型合成（OMS）有可能推动通用人工智能（AGI）的发展，使 AI 能够解决各种问题和任务。

但目前存在两个问题：

可扩展性，这些模型采用了固定的专家模型数量，如果要扩展功能比较难。
需要非线性规划，目前的大部分研究仅限于用线性任务规划解决方案来解决任务，这意味着每个子任务必须在下一个子任务开始之前完成。而模型的线性规划可能不足以解决复杂的任务，此外，许多任务涉及多个多模态输入。
量化评估：难以评估的这种能力的 LLM 采用的策略是最佳的。

为了解决上述的问题，OpenAGI 包含各种特定领域的专家模型和复杂的多个步骤的任务，支持单个或多个模态的输入。基于 HuggingFace 的相关库和 GitHub 上的数据集精心筛选后进行对齐。然后利用一些数据增强技术来增强这些数据集用来构建复杂的多步骤任务。

选择自然语言的任务描述与任务相关的数据集；
将任务描述作为输入输入到 LLM 中，以生成解决方案，这可能需要将解决方案映射到功能模型名称，或使用约束生成直接生成模型名称；（如上图第二列输出了好几项任务）
根据第二步生成的任务列表选择相应的模型并执行；
可通过比较输出和真实标签来评估 LLM 的任务解决能力。

如上方的任务是要求将低分辨率、有噪声、模糊的灰度图像转为正常图片。

但 OpenAGI 也有以下问题：

Out-of-Distribution (OOD) Generalization. 由于对训练数据分布的强烈依赖，特定领域的专家模型可能表现出有限的泛化能力。如下图所示：

Optimal Task Planning. 组合不同模型以生成解决方案的方法有多种，这使得确定最佳方法变得困难。此外，对于一个给定的任务，可能存在多个有效的解决方案，但每个解决方案的质量可能会有很大差异。如下图所示，以不同的顺序执行相同的四个模型可能会导致明显不同的结果。第二种方法的结果（即，图中的第二行）与第一种方法相比表现出明显更多的噪声和颜色不一致性，因此顺序是至关重要的 LLM 识别和实施最佳的任务计划的关键。

Nonlinear Task Structures. 在模型执行期间，模型可能需要多个输入，并且每个输入都需要由先决条件模型生成，从而能解决方案的非线性（树）结构。在这种情况下，采用非线性任务规划可以更有效地整合不同的输入，更有效地并行处理模型，以实现预期的结果。然而，将这种非线性任务规划能力纳入 LLM 提出了超出 LLM 现有任务解决能力的独特挑战。

主要工作

给定一组基于自然语言的任务描述 T 和一组数据集 D，其中每个元素 Dt 表示特定任务t 的对应数据集，以及 D 上的功能模型的集合（表示为 M）及其对应名称集 N，给定 LLM 的目标（表示为 L）是将特定任务描述 t 作为输入并产生多步解决方案 s。该解决方案可以基于模型名称集被映射到功能模型的布置（线性地或非线性地），最终在任务相关的数据集上工作以完成任务。因此，只要提供 T、D、M 和 N，就可以采用从任何学习模式导出的任何 LLM 来评估该上下文中的 LLM 的规划能力。

在 OpenAGI 平台上定义了以下几种类型的领域模型：

语言相关模型，用于解决情感分析、文本分类、文本摘要等问题。
视觉相关模型，用于解决图像分类、对象检测、超分辨率等问题。
视觉语言模型：用于解决视频问答、基于图像问答、文本生成图像等问题。

在选择了合适的模型之后，选择数据集就变成了一个更简单的过程，前提是我们要确保数据集和模型的训练集之间的正确对齐。选用的数据集有 ImageNet-1K、Common Objects in Context (COCO)、CNN/Daily Mail、Stanford Sentiment Treebank (SST2)、TextVQA、Stanford Question Answering Dataset (SQuAD)。

在确定数据集后，我们的下一个目标是从各种角度对其进行增强，以构建复杂的多步骤任务。例如，我们可以引入噪声并降低 ImageNet-1 K 中图像的分辨率，以创建新的数据集，这些数据集可能需要“图像去噪”和“图像超分辨率”进行初始恢复，然后再进行分类。用了高斯模糊、灰度、降低分辨率、翻译、 Mask 一些词语等方案。

根据上方的模型选择，我们根据输入和输出模式对它们进行了分类。我们根据输入和输出模式将它们分类如下：1）图像输入，图像输出；2）图像输入，文本输出；3）文本输入，图像输出；4）文本输入，文本输出；5）图像-文本对输入，文本输出；6）文本-文本对输入，文本输出。

我们采用上面讨论的数据增强技术来增强原始数据集。具体地，对于具有图像输入的任务，我们可以从图像增强方法集合{高斯模糊、高斯噪声、灰度、低分辨率}中选择一种或多种技术来生成成分增强的图像输入，这需要多步图像恢复过程来进行恢复。类似地，对于具有文本输入或输出的任务，我们从{翻译，单词掩码}中选择一个或多个以生成合成增强的文本输入或输出。此外，视觉问答（VQA）和问答（QA）是具有多个多模型输入的任务，导致无法用线性任务规划解决方案解决的自然任务。最后，我们将这两个方面结合起来，构建复杂的多步骤任务。总的来说，我们生成了总共 185 个复杂的多步骤任务，其中117个任务具有线性任务结构，其余 68 个任务具有非线性任务结构。

在上方表格中可以找到一些任务样本，以及它们相应的输入和输出数据样本。

鉴于 OpenAGI 包含多种具有多模态数据的域任务，我们根据域任务以及输入和输出类型对其进行分类。然后，我们使用以下三个指标评估他们的表现：

CLIP Score，用于评估生成的图像标题与图像的实际内容之间的相关性。
Bert Score，使用来自预训练 BERT 模型的上下文嵌入，通过余弦相似度比较候选句子和参考句子中的单词。此外，BERT Score 还计算精确度、召回率和 F1 度量，使其成为评估各种语言生成任务的有价值的工具。在这项工作中，我们使用 F1。
Vit Score，设计用于评估两个图像之间的视觉相似性。通过计算使用视觉变换器生成的各自嵌入的余弦相似度。

我们采用的 CLIP 分数仅用于基于文本到图像生成的任务，BERT 分数被用来评估任务的文本输出，和 ViT 分数被应用于测量图像相似性的其余任务的图像输出。我们还将 BERT 和 CLIP 评分标准化。

针对上面提到的「分布外 (OOD) 泛化」和「最佳任务规划」两个问题，「作者引入了一种称为任务反馈强化学习 (RLTF) 的机制」。该方法利用任务解决结果作为反馈来提高 LLM 的任务解决能力。因此，RLTF 机制有效地改进了 LLM 的规划策略，从而形成了一个增强的、更具适应性的系统。事实上，在面对现实世界的任务时，仅依靠输入文本进行学习是不够的。另一方面，任务反馈提供了额外的信息，可以引导 LLM 的学习轨迹朝着改进和高效的解决方案发展。

针对上面提到第三个非线性规划问题，作者提出了非线性任务规划的方案。

为了生成自然语言任务描述的解决方案，我们要求 LLM 生成一个由模型名称序列组成的可操作解决方案。对于只需要一个输入的任务，模型只需要生成一个可操作的模型序列。对于需要多个输入的任务，例如视觉问答，LLM 需要多个步骤来完成任务，其中每个步骤是一系列模型或几个模型序列的并行。为此，LLM必须满足三个条件：1）仅生成模型名称而没有不相关的标记，2）生成有效的模型序列，以及3）在必要时为不同的输入生成并行的模型序列。

条件一：对于 LLM 仅生成模型名称，而不是调整模型来教导它哪些名称可用，我们采用 beam search de2020autoregressive，它只允许在每个解码步骤中从 M 生成令牌。更具体地说，我们将约束定义为前缀 trie，使得每个模型名称都是从根到某个叶节点的路径。对于树中的每个节点 t，其子节点指示从根到 t 遍历 trie所定义的前缀的所有允许的延续。因此，在每个解码步骤中，下一个标记只能从基于所生成的标记允许的所有可能的延续中选择，或者只能从所有可能的下一个模型名称的第一个标记中选择。例如，如果基于模型名称的集合已经生成了“文本”，则下一个令牌只能是由于“文本摘要”模型而导致的“摘要”或由于“文本生成”模型而导致的“生成”，如下图所示。

条件二：为了使 LLM 生成有效的模型序列，连续的模型应该具有匹配的输入和输出模态。如果一个模型的输出模态是文本，那么下一个模型只能是将文本作为输入的模型。这也通过约束波束搜索来实现，使得当完成生成一个模型时，约束函数将确定该模型的输出模态，并找出 M 中所有可能的下一个模型，排除已经生成的模型。它将基于输出模态为所有这些模型名称动态地构造一个新的 trie。例如，如果第一个生成的模型名称是“文本摘要”，则下一个可能的模型可以是“情感分析”、“文本生成”等。如下图所示。

条件三：语言模型中的自回归解码通常不适合于生成并行有效序列。在这项工作中，我们使用波束搜索进行半自回归生成。Beam search 最初被提出，使得生成多个假设以彼此竞争，以便获得最高得分的输出。相反，我们利用 Beam search 作为有效的半自回归解码方法 rubin2020smbop，使得对于波束搜索中的每个解码步骤，不同的假设被视为不同输入的并行有效解，而不是竞争假设。如果任务需要多个输入，例如文本和图像，则在生成时间中，以文本作为输入的模型和以图像作为输入的模型几乎同样可能被生成。由于基于约束生成，每个波束最终是一个有效的模型序列，因此，将并行生成具有不同输入类型的多个有效序列。

如果一个任务需要并行处理多个输入，例如文本和图像，那么在生成时间内，将并行生成并执行以文本为输入的可操作解决方案和以图像为输入的另一个解决方案。在进行并行处理时，需要建立多输入模型和后续模型。我们将生成的序列与自然语言任务描述连接起来，以生成一个新的提示符来提示后续的模型。这个过程可以递归完成，直到在没有任何模型的情况下生成句尾标记，如图下图所示：

为了便于对结果进行全面分析，我们在表格中提供了 Zero 和 Few。很明显，在 Zero 中，大多数 LLM 都很难生成有效的任务规划，更不用说最佳解决方案了。特别是，GPT-3.5 倾向于生成重复的内容，这些内容随后映射到相同的模型名称。与此同时，LLaMA-7 b 和 Flan-T5-Large 由于受到其 Zero 能力的限制，未能制定合理的计划。

表格中分别是 Zero 没有学习过只是简单的讲任务描述给模型要求给出结果，Few 提供了一组高质量的示例来辅助模型理解任务应该输出什么样的答案，Fine-tuning 是将手动标注的数据进行了微调训练，同样也使用了上方的三个条件。RLTF 就是上方的方法。整体性能计算为 CLIP、BERT 和 ViT 得分的加权平均值。

结论

个人认为这是一个比较简单且有效的方案，虽然一个统一所有模态和下游任务的超大模型是未来的大势，但是在目前为止还是比较难实现的，所以我们需要利用 LLM 的学习、归纳和推理能力将一个任务拆解为多个任务，然后利用不同领域的更擅长的模型去解决问题。在这样的设计中 LLM 就有点像是一个指挥官，制定计划并要求执行。

将复杂任务拆解为多个可执行的任务是一个比较好的方向，AutoGPT 的爆火其实就验证了这件事的可能性，有点像 OKR 对齐。将复杂的、模糊的任务不断拆解成更简单的、更具体的任务，然后利用其它方式执行、搜索、查询、推理等等。比如 “腾讯 2024 年预计年净利润为多少？”就需要拆解为一些更具体的任务和工作。

Cassandra 浅析

Qin — Thu, 23 Mar 2023 09:18:54 GMT

目前网络上关于 Cassandra 数据库的资料比较少，参考了 Cassandra 在 2010 年之前的论文和最新的文档，打算写关于 Cassandra 数据库的分析文章。我将会将原论文进行改写，补充更多的内容。本文由 ChatGPT 和我们自己的文本生成模型辅助写作。

我是 Andy.Qin，一个想创造哆啦 A 梦的 Maker，更多好文章可以到我的博客：qin.news

简介

Cassandra 是一个开源的、分布式的、无中心的、弹性可扩展的、高可用的、容错的、一致性可调的、面向行的数据库，它基于 Amazon Dynamo 的分布式设计和 Google Bigtable 的数据模型，由 Facebook 创建，在一些最流行的网站中得到应用。

Cassandra 可以方便管理分布在很多商业服务器节点上的非常大量的结构化数据，同时提供无单点失效的高可用服务。Cassandra目标是在几百个基础节点上运行（可能分布在不同的数据中心）。在这个规模上，大大小小的组件经常失效。Cassandra对这些失败持久状态的管理方式促使软件系统的可靠性和扩展性依赖这一服务。虽然在许多方面Cassandra类似于一个数据库，并且共享很多设计和相关实现策略，但Cassandra并不支持完整的关系数据模型；相反，它为客户提供了一个支持动态控制数据布局并且格式简单数据模型。Cassandra系统设计目标是：运行在廉价商业硬件上，高写入吞吐量处理，同时又不用以牺牲读取效率为代价。

Facebook 是世界上最大的社交网络平台，高峰时期有数以万计分布在世界各地的服务器为数百万用户提供服务。Facebook 平台在性能、可靠性、效率以及支持持续增长平台所需的高扩展性等方面对操作有着严格的要求。我们的标准操作模式是在由几千个组件组成的基础设施上进行故障处理；任何时候都总有一些小型但非常重要的服务器或网络组件会发生故障。因此，软件系统需要建立处理故障（在这种情况下故障是一种常态而非异常）的机制。为了满足上述可靠性和可扩展性的需要，Facebook 研发了 Cassandra。

系统架构

Cassandra 依赖于Dynamo 分布式存储键值系统的一些技术。Dynamo系统中的每个节点都有三个主要组成部分：

在分区的数据集上请求协调
环状成员和故障检测
本地持久化存储引擎

对分区数据集的请求协调是指在 Dynamo 系统中，每个节点都负责处理一部分数据，而这些数据是通过哈希函数进行分区的。当客户端发出请求时，Dynamo 会根据请求中的键值来确定哪个节点负责处理该请求，并将请求转发给相应的节点进行处理。这样，Dynamo 系统就能够通过多个节点协同工作来处理大量的客户端请求，从而实现高吞吐量和低延迟。

Cassandra主要使用前两个集群组件，同时使用基于日志结构合并树(LSM)的存储引擎。特别地，Cassandra 基于 Dynamo 改进了：

使用一致哈希的数据集分区
使用版本化数据和可调一致性的多主（multi-master）复制
通过 gossip 协议进行分布式集群成员和故障检测
商用硬件的增量横向扩展

Cassandra 以这种方式设计，可以满足大规模（PB级数据）关键业务存储要求。

Cassandra 不仅吸收了 Dynamo 论文中的如何做分布式，如何做副本复制，故障容错等方面成功的经验，又吸取了 Google Bigtable 中的 LSM 单机引擎层面精华。

本地持久化

Cassandra 的数据持久化需要依赖本地文件系统。数据用一种高效读取格式存放在硬盘上。出于耐受性和可恢复性考虑，通常写操作将会涉及到提交日志写入并且更新到一个内存数据结构中。写入内存数据结构仅仅在写入提交日志成功后才会进行。我们每台机器上都有个专门磁盘用来提交日志，因为所有写入提交日志是连续的，所以可以最大限度的利用磁盘吞吐量。当内存数据结构大小（根据数据大小和数量计算得出）超过一定阈值，它将转储到磁盘上。这个写操作是在每台机器配备的许多廉价磁盘中的一个上进行的。所有写入操作写入到磁盘都是有序的，并且生成了一个基于行键可进行快速检索的索引。这些索引通常是数据文件在一起持久化的。随着时间的推移，在磁盘上可能会存在很多这样的文件，后台会有一个合并进程将这些文件合并成一个文件。这个进程和 Bigtable 系统中的压缩进程非常相似。

一个典型的读取操作在读取磁盘上文件之前首先将查询内存数据结构。文件是以文件的新旧来进行排序的。当进行磁盘检索时，我们可能需要检索磁盘上的多个文件的关键字。为了避免查找到不包含关键字的文件，我们用布隆过滤器来汇总文件中的关键字，它同样也存储在每个数据文件中并常驻内存。（检索时）首先将咨询布隆过滤器来检查搜索的关键字是否在给定的文件中。一个列簇中的关键字可能会包含很多列。所以当检索的列距离键较远时还需要利用一些特殊的索引。为了防止搜索时搜索磁盘上的每一列，我们维护列索引来帮组我们直接跳到磁盘上所取列的正确块上。由于指定键的列已经被序列化并写入到磁盘，所以我们按照每块 256K 的范围来生成索引。边界的大小是可以配置的，但是我们发现在实际产品负载环境下中，256K 大小工作良好。

数据分区

一致性哈希数据分区

Cassandra 通过使用哈希函数对存储在系统中的所有数据进行分区，实现了横向可扩展性。每个分区都被复制到多个物理节点上，通常跨越故障域，如机架甚至数据中心。由于每个副本都可以独立地接受它所拥有的每个密钥的突变，每个密钥都必须是版本的。在最初的 Dynamo 论文中，确定性的版本和矢量时钟被用来协调对一个键的并发更新，与此不同的是，Cassandra 使用了一个更简单的最后写入获胜的模型，每个突变都有时间戳（包括删除），然后数据的最新版本是 "获胜 "值。从形式上讲，Cassandra 为每条 CQL 行使用一个 Last-Write-Wins Element-Set 无冲突复制数据类型，或 Conflict-free replicated data type，以解决复制集上冲突的突变。

Cassandra 一个重要的设计特性就是持续扩展的能力。这要求动态将数据分区到集群中各个节点（即存储主机）的能力。Cassandra 整个集群上的数据分区用的是一致性哈希，但是使用了保序哈希函数来达到这一点。在一致性哈希算法中，一个散列函数输出范围被当作一个固定的圆形空间或‘环’来对待（即最大散列值之后为最小散列值）。系统中的每一个节点被赋予一个在这一空间内表示其圆环的位置的随机值。每一个数据项通过键来标识，通过散列数据项的键来确定环上的位置，然后分配到圆环上第一个离大于该条目位置最近的节点。这个节点被视为此键的坐标。应用对此键进行特化处理并且 Cassandra 使用它来进行请求路由。因此，每个节点只需对圆环上它与前任节点之间的区域负责。一致性哈希最主要的优点是离开或到达一个节点只会影响期直接毗邻节点，而其他节点不受影响。基础的一致性散列算法面临一些挑战。首先，每个节点圆环上随机位置的分配导致数据和负载分布的不均匀。第二，基础算法无视节点性能的不均匀性。通常解决这个问题有两个方法：一个是将一个节点分配给环中多个位置（就像 Dynamo 的做法），第二种就是对环上的负载信息进行分析，优先路由负载小的节点以减轻负载较重的节点负担。Cassandra 采用后一种方法，因为它能够使得设计和实现易于处理，并且有助于负载均衡做出确定的选择。

在朴素数据哈希中，通常通过将键的哈希模数除以桶数来将键分配给桶。例如，如果您想使用朴素哈希将数据分发到 100 个节点，则可能将每个节点分配到 0 到 100 之间的一个桶，将输入键模数除以 100，并将数据存储在关联的桶中。然而，在这种朴素方案中，添加一个节点可能会使几乎所有映射失效。

Cassandra 则将每个节点映射到连续哈希环上的一个或多个令牌，并通过将键散列到环上然后“沿着”环向一个方向行走来定义所有权，类似于 Chord 算法。一致性哈希与朴素数据哈希的主要区别在于，当要散列到的节点（桶）数量发生变化时，一致性哈希只需移动少量键。

例如，如果我们有一个具有均匀分布的令牌的8节点集群，和复制因子（RF）为 3，然后查找键我们首先对该键进行哈希处理以生成令牌（这只是哈希的 key），然后我们以顺时针的方式“走”环，直到我们遇到三个不同的节点，此时我们已经找到了所有该密钥的副本。此 8 节点群集示例具有 gRF=3 可以可视化如下：

物理节点与多个令牌

在 Cassandra 中，每个物理节点可以拥有多个令牌，这些令牌在哈希环上占据多个位置。这种方法称为“虚拟节点”，它通过为每个物理节点分配多个令牌来解决不平衡问题。通过允许单个物理节点在环中占据多个位置，我们可以使小集群看起来更大，因此即使添加单个物理节点，我们也可以使其看起来像添加了更多节点，从而在添加甚至单个节点时从更多环邻居那里获取更多较小的数据块。

Cassandra 引入了一些术语来处理这些概念：

主机 ID：单个“物理”节点的唯一标识符，通常位于一个 gEndpoint 处并包含一个或多个 gTokens。
虚拟节点（或 vnode）：由同一物理节点拥有的哈希环上的 gToken，具有相同的 gHost ID。

令牌到端点的映射产生了令牌映射，在其中 Cassandra 跟踪哪些环位置映射到哪些物理端点。例如，在下图中，我们可以通过为每个节点分配两个令牌来表示仅使用 4 个物理节点的 8 个节点集群:

每个令牌最多引入2 x（rf -1）令牌环上的其他邻居，这意味着节点故障的组合有更多的组合，我们在某些令牌环中失去了可用性。您拥有的令牌越多，停电的可能性就越高。

整个群集维护操作通常会放慢速度。例如，随着每个节点的令牌数量的增加，群集必须增加的离散维修操作数量。

跨越令牌范围的操作的性能可能会受到影响。

请注意，在Cassandra 2.x中，唯一可用的令牌分配算法是选择随机令牌，这意味着要保持平衡每个节点的默认令牌数必须很高，在256处。共同增加了无法获得的风险。这就是为什么在3.x +中添加了新的确定性令牌分配器，该分配器巧妙地选择令牌，以使环具有最佳平衡，同时需要每个物理节点的令牌数量要少得多。

每个物理节点的多个令牌提供了以下好处：

当添加新节点时，它从环中其他节点接受大约相等数量的数据，从而在整个集群中实现数据均匀分布。
当一个节点被撤销时，它将数据大致均匀地丢失给环中其他成员，再次保持整个集群中数据的均匀分布。
如果一个节点不可用，则查询负载（特别是令牌感知查询负载）会均匀地分布到许多其他节点上。

多主复制

Cassandra 将每个数据分区复制到集群中的许多节点，以保持高可用性和持久性。当发生变化时，协调器对分区键进行散列以确定数据所属的令牌范围，然后根据 Replication Strategy 将突变复制到该数据的副本。

所有复制策略都有复制因子（ RF ）的概念，它向Cassandra指示分区应该存在多少个副本。例如，使用 RF=3 keyspace，数据将被写入三个不同的副本。副本总是被选择为使得它们是不同的物理节点，这通过在需要时跳过虚拟节点来实现。复制策略还可以选择跳过存在于相同故障域（诸如机架或数据中心）中的节点，使得 Cassandra 集群可以容忍整个机架甚至节点的数据中心的故障。

Cassandra支持可插拔复制策略，该策略确定哪些物理节点充当给定令牌范围的副本。数据的每个键空间都有自己的复制策略。所有生产部署都应使用 NetworkTopologyStrategy ，而 SimpleStrategy 复制策略仅适用于测试尚不了解群集数据中心布局的群集。

NetworkTopologyStrategy 需要为群集中的每个数据中心指定复制因子。即使您的群集只使用单个数据中心，建议使用 NetworkTopologyStrategy 而不是 SimpleStrategy ，以便在需要时更容易将新的物理或虚拟数据中心添加到群集。

还有其它非常方便的复制策略。

数据版本

Cassandra 使用变化时间戳版本控制来保证数据的最终一致性。具体而言，进入系统的所有变化都是利用从客户端时钟提供的时间戳来进行的，或者在没有客户端提供的时间戳的情况下利用从协调器节点的时钟提供的时间戳来进行的。更新根据上次写入成功的冲突解决规则解决。Cassandra 的正确性取决于这些时钟，因此请确保运行正确的时间同步进程，如 NTP。

Cassandra 将单独的突变时间戳应用于 CQL 分区中的每一行的每一列。行通过主键保证是唯一的，并且行中的每一列根据最后写入成功冲突解决方案来解决并发变异。这意味着对分区内不同主键的更新实际上可以在没有冲突的情况下解决！此外，CQL 集合类型（如映射和集合）使用相同的无冲突机制，这意味着映射和集合的并发更新也可以保证解决。

复制副本同步

由于Cassandra中的副本可以独立地接受变化，因此某些副本可能具有比其他副本更新的数据。Cassandra有许多尽力而为的技术来驱动副本的收敛，包括读取路径中的 Replica read repair 和写入路径中的 Hinted handoff 。

然而，这些技术只是尽力而为，为了保证最终的一致性，Cassandra实现了 anti-entropy repair ，其中副本在其数据集上计算分层哈希树，称为Merkle树，然后可以在副本之间进行比较，以识别不匹配的数据。像最初的Dynamo论文一样，Cassandra支持完全修复，其中副本散列其整个数据集，创建Merkle树，将它们发送给彼此并同步任何不匹配的范围。

与原始的 Dynamo 论文不同，Cassandra 还实现了子范围修复和增量修复。子范围修复允许 Cassandra 通过创建仅跨越部分数据范围的大量树来提高哈希树的能力（可能降低到单个分区级别）。增量修复允许 Cassandra 只修复自上次修复以来发生更改的分区。

可调整的一致性

Cassandra 通过一致性级别支持一致性和可用性之间的每操作权衡。Cassandra 的一致性级别是Dynamo的 R + W > N 一致性机制的一个版本，其中操作员可以将必须参与读取（ R ）和写入（ W ）的节点数量配置为大于复制因子（ N ）。在 Cassandra 中，您可以从通用一致性级别菜单中选择，这允许操作员在不知道复制因子的情况下选择 R 和 W 行为。通常，当读取一致性级别包含足够的节点以保证与写入一致性级别的仲裁交集时，写入将对后续读取可见。

还允许很多不同的一致性级别。

故障检测

Cassandra 通过使用 Gossip 来实现分布式集群成员身份和故障检测。Gossip 是一种用于在分布式系统中传播节点信息的算法。在 Cassandra 中，每个节点都会定期与其他节点通信，以交换关于集群中其他节点的信息。这些信息包括节点的状态（如是否在线）、令牌分配情况以及其他元数据。

当一个节点与其他节点通信时，它会将自己所知道的关于集群中所有节点的信息发送给对方。接收到信息的节点会将其与自己所知道的信息进行比较，并更新自己的信息。这样，每个节点都能够通过与其他节点通信来获取关于集群中所有节点的最新信息。

如果一个节点在一段时间内未能与其他节点通信，则该节点会被标记为不可用，并且集群中的其他节点会停止将请求转发给该节点。这样，Cassandra 就能够快速检测到故障并将请求重新路由到可用的副本上，从而保证了系统的高可用性。

Gossip 是形成环成员资格的基础，但故障检测器最终决定节点是 UP 还是 DOWN 。Cassandra 中的每个节点都运行 Phi Accrual Failure Detector 的一个变体，其中每个节点都在不断地独立决定其对等节点是否可用。该决定主要基于接收到的心跳状态。例如，如果一个节点在一定时间内没有看到来自节点的心跳增加，故障检测器就会“定罪”该节点，此时 Cassandra 将停止向其路由读取（写入通常会写入提示）。如果/当节点再次开始心跳时，Cassandra 将尝试联系并连接，如果它可以打开通信通道，它将标记该节点为可用。

商业上的扩展不重要，就不写了。

总结

Cassandra 的数据模型与传统的关系型数据库（RDBMS）有很大的不同，它没有固定的表结构，也没有预定义的约束和索引。Cassandra 的数据模型更加灵活和动态，可以根据业务需求随时添加或删除列，也可以支持复杂的数据类型，如列表、集合、映射等。但是，这种灵活性也带来了一些缺点，例如不支持联合查询、聚合、事务等等。在使用 Cassandra 时，需要根据应用场景进行合理的数据建模，并尽量避免产生大量稀疏或重复的数据。

Cassandra 是一种最终一致性（eventual consistency）的数据库，这意味着在某些情况下，不同节点上可能会存在不同版本的数据副本，并且需要一段时间才能达到一致状态。Cassandra 使用时间戳来解决数据冲突，并且允许用户在读写操作时指定不同级别的一致性要求。例如：

读操作可以指定 ONE、QUORUM、ALL 等级别，表示至少需要从一个、过半数或所有节点读取到最新版本的数据才返回结果。
写操作可以指定 ANY、ONE、QUORUM、ALL 等级别，表示至少需要向一个、过半数或所有节点写入成功才返回结果。

Cassandra 的最终一致性机制与强一致性（strong consistency）的数据库有很大的差异，它可以提供更高的可用性和可扩展性，并且适合处理海量并发请求。但是，这种机制也带来了一些缺点像是不能保证实时读取到最新版本的数据，在某些场景下可能会导致业务逻辑出错，等等。

Disruptor 高性能队列原理浅析

Qin — Fri, 03 Mar 2023 08:26:08 GMT

介绍

Disruptor 是英国外汇交易公司 LMAX 开发的一个高性能队列，研发的初衷是解决内存队列的延迟问题（在性能测试中发现竟然与 I/O 操作处于同样的数量级）。基于Disruptor 开发的系统单线程能支撑每秒 600 万订单，2010 年在 QCon 演讲后，获得了业界关注。2011 年，企业应用软件专家 Martin Fowler 专门撰写长文介绍。同年它还获得了 Oracle 官方的 Duke 大奖。

本文主要参考它 2011 年的论文《LMAX Disruptor: High performance alternative to bounded queues for exchanging data between concurrent threads》还结合了美团技术团队对它分析的文章。论文中文翻译参考了肥兔子爱豆畜子翻译的中文版。

这里所说的队列是系统内部的内存队列，而不是Kafka这样的分布式队列。

许多应用程序依靠队列在处理阶段之间交换数据。我们的性能测试表明，当以这种方式使用队列时，其延迟成本与磁盘（基于RAID或SSD的磁盘系统）的IO操作成本处于同一数量级都很慢。如果在一个端到端的操作中有多个队列，这将使整个延迟增加数百微秒。

测试表明，使用 Disruptor 的三阶段流水线的平均延迟比基于队列的同等方法低 3 个数量级。此外，在相同的配置下，Disruptor 处理的吞吐量约为 8 倍。

并发问题

在本文以及在一般的计算机科学理论中，并发不仅意味着两个以上任务同时并行发生，而且意味着它们在访问资源时相互竞争。争用的资源可以是数据库、文件、socket，甚至是内存中的一个位置。

代码的并发执行涉及两件事：互斥和内存可见性。互斥是关于如何管理保证某些资源的独占式使用。内存可见性是关于控制内存更改何时对其他线程可见。如果你可以避免多线程竞争的去更新共享资源，那么就可以避免互斥。如果您的算法可以保证任何给定的资源只被一个线程修改，那么互斥是不必要的。读写操作要求所有更改对其他线程可见。但是，只有争用的写操作需要对更改进行互斥。

在任何并发环境中，最昂贵的操作是争用写访问。要让多个线程写入同一资源，需要复杂而昂贵的协调。通常，这是通过采用某种锁策略来实现的。

但是锁的开销是非常大的，在论文中设计了一个实验：

这个测试程序调用了一个函数，该函数会对一个 64 位的计数器循环自增 5 亿次。
机器环境：2.4G 6 核
运算： 64 位的计数器累加 5 亿次

单线程情况下，不加锁的性能 > CAS 操作的性能 > 加锁的性能。

在多线程情况下，为了保证线程安全，必须使用 CAS 或锁，这种情况下，CAS 的性能超过锁的性能，前者大约是后者的 8 倍。

保证线程安全一般使用锁或者原子变量。

采取加锁的方式，默认线程会冲突，访问数据时，先加上锁再访问，访问之后再解锁。通过锁界定一个临界区，同时只有一个线程进入。

原子变量能够保证原子性的操作，意思是某个任务在执行过程中，要么全部成功，要么全部失败回滚，恢复到执行之前的初态，不存在初态和成功之间的中间状态。例如 CAS 操作，要么比较并交换成功，要么比较并交换失败。由 CPU 保证原子性。

通过原子变量可以实现线程安全。执行某个任务的时候，先假定不会有冲突，若不发生冲突，则直接执行成功；当发生冲突的时候，则执行失败，回滚再重新操作，直到不发生冲突。

CAS 操作是一种特殊的机器代码指令，它允许将内存中的字有条件地设置为原子操作。比如对于前面的“递增计数器实验”例子，每个线程都可以在一个循环中自旋，读取计数器，然后尝试以原子方式将其设置为新的递增值。

如图所示，Thread1 和 Thread2 都要把 Entry 加 1。若不加锁，也不使用 CAS，有可能 Thread1 取到了myValue=1，Thread2 也取到了 myValue=1，然后相加，Entry 中的 value 值为 2。这与预期不相符，我们预期的是 Entry 的值经过两次相加后等于3。

CAS 会先把 Entry 现在的 value 跟线程当初读出的值相比较，若相同，则赋值；若不相同，则赋值执行失败。一般会通过 while/for 循环来重新执行，直到赋值成功。CAS无需线程进行上下文切换到内核态去执行，在用户态执行了 CPU 的原语指令 cmpxchg，CAS 相当于在用户态代码里边插入了一个 cmpxchg 指令，这样 CPU 一直在用户态执行，执行到 cmpxchg 指令就开始执行内核态内存空间的操作系统的代码。执行指令要比上下文切换的开销要小，所以 CAS 要比重量级互斥锁性能要高。（用户态和内核态没有切换）

如果程序的关键部分比计数器的简单增量更复杂，则可能需要使用多个CAS操作的复杂状态机来编排争用。使用锁开发并发程序是困难的；而使用 CAS 操作和内存屏障开发无锁算法要更加复杂多倍，而且难于测试和证明正确性。

内存屏障和缓存问题

出于提升性能的原因，现代处理器执行指令、以及内存和执行单元之间数据的加载和存储都是不保证顺序的。不管实际的执行顺序如何，处理器只需保证与程序逻辑的顺序产生相同的结果即可。这在单线程的程序中不是一个问题。但是，当线程共享状态时，为了确保数据交换的成功与正确，在需要的时候、内存的改变能够以正确的顺序显式是非常重要的。处理器使用内存屏障来指示内存更新顺序很重要的代码部分。它们是在线程之间实现硬件排序和更改可见性的方法。

内存屏障（英语：Memory barrier），也称内存栅栏，内存栅障，屏障指令等，是一类同步屏障指令，它使得 CPU 或编译器在对内存进行操作的时候, 严格按照一定的顺序来执行, 也就是说在内存屏障之前的指令和之后的指令不会由于系统优化等原因而导致乱序。

大多数处理器提供了内存屏障指令:

完全内存屏障(full memory barrier)保障了早于屏障的内存读写操作的结果提交到内存之后，再执行晚于屏障的读写操作。
内存读屏障(read memory barrier)仅确保了内存读操作；
内存写屏障(write memory barrier)仅保证了内存写操作。

现代的 CPU 现在比当前一代的内存系统快得多。为了弥合这一鸿沟，CPU 使用复杂的高速缓存系统，这些系统是有效的快速硬件哈希表，无需链接。这些缓存通过消息传递协议与其他处理器缓存系统保持一致。此外，处理器还具有“存储缓冲区”（store buffer/load buffer，比 L1 缓存更靠近 CPU，跟寄存器同一个级别，用来当作 CPU 与高速缓存之间的缓冲。毕竟高速缓存由于一致性的问题也会阻塞）来缓冲对这些缓存的写入，以及作为“失效队列”，以便缓存一致性协议能够在即将发生写入时快速确认失效消息，以提高效率。

这对数据意味着，任何值的最新版本在被写入后的任何阶段都可以位于寄存器、存储缓冲区、L1/L2/L3 缓存之一或主内存中。如果线程要共享此值，则需要以有序的方式使其可见，这是通过协调缓存一致性消息的交换来实现的。这些信息的及时产生可以通过内存屏障来控制。

L1、L2、L3 分别表示一级缓存、二级缓存、三级缓存，越靠近 CPU 的缓存，速度越快，容量也越小。所以 L1 缓存很小但很快，并且紧靠着在使用它的 CPU 内核；L2 大一些，也慢一些，并且仍然只能被一个单独的 CPU 核使用；L3 更大、更慢，并且被单个插槽上的所有 CPU 核共享；最后是主存，由全部插槽上的所有 CPU 核共享。

当 CPU 执行运算的时候，它先去 L1 查找所需的数据、再去 L2、然后是 L3，如果最后这些缓存中都没有，所需的数据就要去主内存拿。走得越远，运算耗费的时间就越长。所以如果你在做一些很频繁的事，你要尽量确保数据在 L1 缓存中。

另外，线程之间共享一份数据的时候，需要一个线程把数据写回内存，而另一个线程访问内存中相应的数据。

如果你用一种能被预测的方式访问内存的话，CPU 可以预测下个可能访问的值从内存先缓存到缓存中，来降低下次访问的延迟。但是如果是一些非顺序的、步长无法预测的结构，让 CPU 只能访问内存，性能上与访问缓存差很多。所以为了有效利用 CPU 高速缓存的特性，我们应当尽量使用顺序存储结构。

队列的问题

队列通常使用链表或数组作为元素的底层存储。如果允许内存中的队列是无界的，那么对于许多类的问题，它可以不受约束地增长，直到耗尽内存而达到灾难性的后果，当生产者超过消费者时就会发生这种情况。无界队列在可以在生产者可以保证不超过消费者的系统中使用，因为内存是一种宝贵的资源，但是如果这种假设不成立，而队列增长没有限制，那么总是有风险的。为了避免这种灾难性的结果，队列的大小通常要受到限制（有界）。要使队列保持有界，就需要对其底层选择数组结构或主动跟踪其大小。

队列的实现往往要在 head、tail 和 size 变量上有写争用。在使用时，由于消费者和生产者之间的速度差异，队列通常总是接近于满或接近于空。它们很少在生产和消费速率均衡的中间地带运作。这种总是满的或总是空的倾向会导致高级别的争用、和/或昂贵的缓存一致性。问题在于，即使 head 和 tail 使用不同的并发对象（如锁或CAS变量）来进行读写锁分离，它们通常也占用相同的 cacheline。

管理生产者申请队列的 head，消费者申请队列的 tail，以及中间节点的存储，这些问题使得并发实现的设计非常复杂，除了在队列上使用一个粗粒度的锁之外，还难以管理。对于 put 和 take 操作，使用整个队列上的粗粒度锁实现起来很简单，但对吞吐量来说是一个很大的瓶颈。如果并发关注点在队列的语义中被分离开来，那么对于除单个生产者-单个消费者之外的任何场景，实现都变得非常复杂。

而使用相同的 cacheline 会产生伪共享问题。比如 ArrayBlockingQueue 有三个成员变量：

takeIndex：需要被取走的元素下标；
putIndex：可被元素插入的位置的下标；
count：队列中元素的数量；

这三个变量很容易放到一个缓存行中，但是之间修改没有太多的关联。所以每次修改，都会使之前缓存的数据失效，从而不能完全达到共享的效果。

如上图所示，当生产者线程 put 一个元素到 ArrayBlockingQueue 时，putIndex 会修改，从而导致消费者线程的缓存中的缓存行无效，需要从主存中重新读取。一般的解决方案是，增大数组元素的间隔使得由不同线程存取的元素位于不同的缓存行上，以空间换时间。

Disruptor 解决思路

启动时，将预先分配环形缓冲区的所有内存。环形缓冲区可以存储指向 entry 的指针数组，也可以存储表示 entry 的结构数组。这些 entry 中的每一个通常不是传递的数据本身，类似对象池机制，而是它的容器。这种 entry 的预分配消除了支持垃圾回收的语言中的问题，因为 entry 将被重用，并在整个 Disruptor 实例存活期间都有效。这些 entry 的内存是同时分配的。

一般的数据结构是像下面这样的：

我们可以使用一个环状的数组结构改进成下面这样：

数组的连续多个元素会一并加载到 CPU Cache 里面来，所以访问遍历的速度会更快。而链表里面各个节点的数据，多半不会出现在相邻的内存空间，自然也就享受不到整个 Cache Line 加载后数据连续从高速缓存里面被访问到的优势。遍历访问时 CPU 层面的分支预测会很准确。这可以使得我们更有效地利用了 CPU 里面的多级流水线，我们的程序就会跑得更快。

在像 Java 这样的托管运行时环境中开发低延迟系统时，垃圾收集机制可能会带来问题。分配的内存越多，给垃圾收集器带来的负担就越大。当对象的寿命很短或实际上是常驻的时候，垃圾收集器工作得最好。在环形缓冲区中预先分配 entry 意味着它对于垃圾收集器来说是常驻内存的，垃圾回收的负担就很轻。同时，数组结构对处理器的缓存机制更加友好。数组长度 2^n，通过位运算，加快定位的速度。下标采取递增的形式。不用担心 index 溢出的问题。index 是 long 类型，即使 100 万 QPS 的处理速度，也需要 30 万年才能用完。

一般的 Cache Line 大小在 64 字节左右，然后 Disruptor 在非常重要的字段前后加了很多额外的无用字段。可以让这一个字段占满一整个缓存行，这样就可以避免未共享导致的误杀。

每个生产者或者消费者线程，会先申请可以操作的元素在数组中的位置，申请到之后，直接在该位置写入或者读取数据。

下面用非环形的结构模拟无锁读写。

一个生产者的流程

申请写入m个元素；
若是有m个元素可以入，则返回最大的序列号。这儿主要判断是否会覆盖未读的元素；
若是返回的正确，则生产者开始写入元素。

多个生产者流程

多个生产者的情况下，会遇到“如何防止多个线程重复写同一个元素”的问题。Disruptor 的解决方法是，每个线程获取不同的一段数组空间进行操作。这个通过 CAS 很容易达到。只需要在分配元素的时候，通过 CAS 判断一下这段空间是否已经分配出去即可。

但如何防止读取的时候，读到还未写的元素。Disruptor 在多个生产者的情况下，引入了一个与 Ring Buffer 大小相同的 buffer，Available Buffer。当某个位置写入成功的时候，便把 Availble Buffer 相应的位置置位，标记为写入成功。读取的时候，会遍历 Available Buffer，来判断元素是否已经就绪。

读数据流程

生产者多线程写入的情况会复杂很多：

申请读取到序号n；
若 writer cursor >= n，这时仍然无法确定连续可读的最大下标。从 reader cursor 开始读取 available Buffer，一直查到第一个不可用的元素，然后返回最大连续可读元素的位置；
消费者读取元素。

如下图所示，读线程读到下标为 2 的元素，三个线程 Writer1/Writer2/Writer3 正在向 RingBuffer 相应位置写数据，写线程被分配到的最大元素下标是 11。

读线程申请读取到下标从3到11的元素，判断 writer cursor>=11。然后开始读取 availableBuffer，从 3 开始，往后读取，发现下标为7的元素没有生产成功，于是WaitFor(11)返回6。

然后，消费者读取下标从 3 到 6 共计 4 个元素（多个生产者情况下，消费者消费过程示意图）。

写数据流程

多个生产者写入的时候：

申请写入 m 个元素；
若是有 m 个元素可以写入，则返回最大的序列号。每个生产者会被分配一段独享的空间；
生产者写入元素，写入元素的同时设置 available Buffer 里面相应的位置，以标记自己哪些位置是已经写入成功的。

如下图所示，Writer1 和 Writer2 两个线程写入数组，都申请可写的数组空间。Writer1 被分配了下标 3 到下表 5 的空间，Writer2 被分配了下标 6 到下标 9 的空间。

Writer1 写入下标 3 位置的元素，同时把 available Buffer 相应位置置位，标记已经写入成功，往后移一位，开始写下标 4 位置的元素。Writer2 同样的方式。最终都写入完成。

总结

整体上来看 Disruptor 在提高吞吐量、减少并发执行损耗上做出了很大贡献，通过贴合硬件机制的方式进行设计，消除写争用，最小化读争用，并确保代码与现代处理器使用的 Cache 特性良好配合。我们可以看下 Log4j 2 的性能数据，Log4j 2 的 Loggers all async 就是基于 Disruptor 的。

总结来说 Disruptor 是性能极高的无锁队列，提供了一种很好的利用硬件特性实现尽可能从缓存读取来加速访问的无锁方案。

互联网大裁员原因分析

Qin — Fri, 17 Feb 2023 08:54:46 GMT

继谷歌、微软之后，Zoom、eBay、波音、戴尔加入最新一波“裁员潮”中。

2 月 7 日，美国在线会议平台 Zoom 宣布将裁减 1300 名员工，成为最新一家进行裁员的公司，大约 15% 的员工受到影响。

同日，总部位于亚特兰大的网络安全公司 Secureworks 在一份提交给美国证券交易委员会( SEC )的文件中宣布，将裁员 9%，因为该公司希望在“一些世界经济体处于不确定时期”减少开支。据数据供应商 PitchBook估计，该公司近 2500 名员工中约有 225 人将在此轮裁员中受到影响。

此外，电商公司eBay于2月7日在一份SEC文件中宣布，计划裁员500人，约占其员工总数的4%。据悉，受影响的员工将在未来24小时内得到通知。

2月6日，飞机制造商波音公司证实，今年计划在财务和人力资源部门裁减约 2000 个职位，不过该公司表示，将增加 1 万名员工，“重点是工程和制造”。

个人电脑制造商戴尔的母公司，总部位于美国德克萨斯州的戴尔科技，2 月 6 日在一份监管文件中表示，公司计划裁减约 5% 的员工。戴尔有大约 13.3 万名员工，在这个水平上，约 6650 名员工将在新一轮裁员中受到影响。

除了 Zoom、eBay、波音、戴尔等公司，它们的科技同行早已经采取了同样的行动。

从去年 11 月开始，许多硅谷公司员工就开始增加了关注邮箱的频率，害怕着某封解除自己公司内网访问权限的邮件来临，在仅仅在 2022 年 11 月，裁员数字就达到了近 6 万人，而如果从 2022 开始计算，各家已经陆续裁员了近十五万人。

但本次裁员并非是因为营收的直接下降：事实上，硅谷各家 2022 年营收虽然略有下跌，但总体上仍然保持了平稳，甚至部分业务略有上涨，看起来并没有到「危急存亡之秋」，需要动刀进行大规模裁员，才能在寒冬中存活的程度。

相较于备受瞩目的裁员，一组来自美国政府的就业数据就显得比较有意思了。据美国劳工统计局 2 月 3 日公布的数据，美国失业率 1 月份降至 3.4%，为 1969 年 5 月以来最低。

美国 1 月份非农就业人数新增 51.7 万人，几乎是经济学家预期的三倍，即使最近主要在科技行业裁员，但建筑、酒店和医疗保健等行业带来了就业增长。

一方面是某些企业的大规模裁员，仅 1 月份就影响超过 10 万人；而另一方面，政府报告显示就业市场强劲。这样来看，美国的就业市场情况似乎有些矛盾。

2022 年 12 月初，多名B站员工在社交媒体上表示，B站开始了新一轮裁员，B端、漫画、直播、主站、Goods等部门均有涉及，整体裁员比例在30%左右。12月19日，小米大规模裁员的消息又有曝出，裁员涉及手机部、互联网部、中国部等多部门，个别部门裁员比例高达75%。12月20日，知乎又传裁员10%。

似乎全球的科技公司都在裁员，而我们想要讨论裁员的问题，肯定绕不开两个大方向：经济下行和人员问题。

下行环境

联合国一月发布的《2023年世界经济形势与展望》中指出，2022 年，一系列相互影响的严重冲击，包括新冠疫情、乌克兰战争及其引发的粮食和能源危机、通胀飙升、债务收紧以及气候紧急状况等，导致世界经济遭受重创。美国、欧盟等发达经济体增长势头明显减弱，全球其他经济体由此受到多重不利影响。与新冠疫情相关的反复封锁以及房地产市场的长期压力，延缓了中国的经济复苏进程。

在此背景下，2023 年世界经济增速预计将从 2022 年估计的 3.0% 下降至 1.9%。2024 年，由于部分不利因素将开始减弱，预计全球经济增速将适度回升至 2.7%。不过，这在很大程度上将取决于货币持续紧缩的速度和顺序、乌克兰战争的进程和后果以及供应链进一步中断的可能性。

在通货膨胀高企、激进的货币紧缩政策以及不确定性加剧的背景下，当前全球经济低迷，导致全球经济从新冠疫情的危机中复苏的步伐减缓，对部分发达国家和发展中国家均构成威胁，使其 2023 年可能面临衰退的前景。

2022 年，美国、欧盟等发达经济体增长势头明显减弱。报告预计，2023 年美国和欧盟的经济增速分别为 0.4% 和 0.2%，日本为 1.5%，英国和俄罗斯的经济则将分别出现 0.8% 和 2.9% 的负增长。

与此同时，全球金融状况趋紧，加之美元走强，加剧了发展中国家的财政和债务脆弱性。自 2021 年末以来，为抑制通胀压力、避免经济衰退，全球超过85%的央行纷纷收紧货币政策并上调利率。

报告指出，2022 年，全球通胀率约为 9%，创数十年来的新高。2023 年，全球通胀率预计将有所缓解，但仍将维持在 6.5% 的高水平。

据美国商务部经济分析局（BEA）统计，第二、三季度，美国私人投资分别衰退 14.1% 和 8.5%。加息不仅对美国企业活动产生抑制作用，而且成为美国经济复苏的最主要阻力。尤其是，非住宅类建筑物固定投资已连续六个季度衰退。预计 2023 年美国联邦基金利率将攀升至 4.6%，远远超过 2.5% 的中性利率水平，经济衰退风险陡增，驱动对利率敏感的金融、房地产和科技等行业采取裁员等必要紧缩措施。

发展上限

美国企业的业务增长和经营利润出现问题。据美国多家媒体报道，第三季度，谷歌利润率急剧下滑，Meta 等社交媒体的广告收入迅速降温，微软等其他科技企业业务增长也大幅放缓。自7月以来，美国服务业PMI已连续5个月陷入收缩区间，制造业 PMI 也于 11 月进入收缩区间。在美国经济前景和行业增长空间出现问题的背景下，部分行业采取裁员、紧缩开支等“准备过冬”计划也就在意料之中了。

2022年，在市值方面，作为中概股的代表阿里、腾讯、快手等很多企业的市值都跌了 50%，甚至70%、80%。在收入方面，BAT 已经停止增长几个季度了，阿里和腾讯为代表的企业已经开始负增长。在经济下行的背景下，向内开刀、降本增效成为企业生存的必然之举。除了裁员，收缩员工福利、业务调整，也是企业降本增效的举动之一。

如果说 2021 年的裁员，很多是由于业务受到冲击，比如字节跳动的教育业务，以及滴滴、美团等公司的社区团购项目。但到了 2022 年，更多企业裁员的背后是降本增效、去肥增肌。

全球宏观经济表现不佳，由产业资本泡沫引发的危机感传导到科技企业的经营层，科技企业不得不面对现实。科技行业处在重要的结构转型期。iPhone 的横空出世开创了一个移动互联网的新时代，而当下的科技巨头也都是移动互联网的大赢家。但十多年过去了，随着智能手机全球高普及率的完成，移动互联网的时代红利逐渐消失，也再没有划时代的创新和新的热点。

这两年整个移动互联网时代的赢家都在焦急地寻找新的创新增长点。比如谷歌和 Meta 多年来一直尝试投资新业务，如谷歌云、Web3.0等，但实际收入仍然依赖于广告业务，未能找到真正的新增长点。这使得其中一些公司容易受到持有突破性技术的初创公司影响。

科技企业倾力“烧钱”打造新赛道，但研发投入和预期产出始终不成正比，不得不进行战略性裁员。

我们这里以这两年爆火的元宇宙举例：

各大券商亦争相拥抱元宇宙，不仅元宇宙研究团队在迅速组建，元宇宙首席分析师也纷纷诞生。 2021 年下半年，短短半年内便有数百份关于元宇宙的专题研报披露。

可以说，在扎克伯格和Meta的带领下，全世界的大厂小厂都在跟着往元宇宙砸钱。

根据麦肯锡的计算，自2021年以来，全世界已经向虚拟世界投资了令人瞠目结舌的数字——1770亿美元。

但即使作为元宇宙领军的 Meta 现实实验室（Reality Labs）2022 年三季度收入 2.85 亿美元，运营亏损 36.7 亿美元，今年以来已累计亏损 94 亿美元，去年亏损超过 100亿美元。显然，Meta 的元宇宙战略还未成为 Meta的机遇和新增长点。

虽然各 KOL 高举“元宇宙是未来”的大旗，依旧无法改写“元宇宙未至”的局面。刨除亟待解决的关键性技术问题，如何兼顾技术、成本与可行性，实现身临其境的体验，更是为之尚远。元宇宙还在遥远的未来。

早在 2021 年12 月底，人民日报等官方媒体曾多次下场，呼吁理性看待“元宇宙”。中央纪委网站发布的《元宇宙如何改写人类社会生活》提及“元宇宙”中可能会涉及资本操纵、舆论吹捧、经济风险等多项风险。就连春晚的小品中，“元宇宙”也成为“瞎忽悠”的代名词。

2022 年 2月18日，中国银保监会发布了《关于防范以“元宇宙”名义进行非法集资的风险提示》，并指出了四种常见的犯罪手法，包括编造虚假元宇宙投资项目、打着元宇宙区块链游戏旗号诈骗、恶意炒作元宇宙房地产圈钱、变相从事元宇宙虚拟币非法谋利。

2022 年 2月7日，英国《金融时报》报道称，随着《网络安全法案》逐步落实，元宇宙将会受到严格的英国监管，部分公司可能面临数十亿英镑的潜在罚款。

2022 年 2月6日，据今日俄罗斯电视台（RT）报道，俄罗斯监管机构正在研究对虚拟现实技术实施新限制的可能性，他们担心应用该技术可能会协助非法活动。

各个国家的法律监管的到来，使得元宇宙的泡沫迅速炸裂。无数的元宇宙公司迅速破产，例如白鹭科技从 H5 游戏引擎转型到元宇宙在泡沫破裂的情况下个人举债 4000 万，公司破产清算。

本质上来说如今互联网行业已经到了一个明显的发展瓶颈，大家吃的都是移动网络和智能手机的普及带来的红利。在新的设备和交互方式诞生前，大家都没了新故事可讲，过去的圈地跑马模式在这样的大环境下行不通了。

法律监管

过去十年时间，互联网世界的马太效应越来越明显。一方面，几大巨头们在各自领域打造了占据了主导份额的互联网平台，不断推出包罗万象的全生态产品与服务，牢牢吸引着绝大多数用户与数据。他们的财务业绩与股价市值急剧增长，苹果、谷歌、亚马逊的市值先后突破万亿甚至是两万亿美元。

而另一方面，诸多规模较小的互联网公司却面临着双重竞争劣势。他们不仅财力与体量都无法与网络巨头抗衡，还要在巨头们打造的平台上，按照巨头制定偏向自己的游戏规则，与包括巨头产品在内的诸多对手激烈竞争用户。

2020 年 10 月，在长达 16 个月的调查之后，美国众议院司法委员会发布了一份长达 449 页的科技反垄断调查报告，直指谷歌、苹果、Facebook、亚马逊四大科技巨头滥用市场支配地位、打压竞争者、阻碍创新，并损害消费者利益。

2020 年 10 月 20 日，美国司法部连同美国 11 个州的检察长向 Google 发起反垄断诉讼，指控其在搜索和搜索广告市场通过反竞争和排他性行为来非法维持垄断地位。

2021 年明尼苏达州民主党参议员艾米·克洛布查尔（Amy Klobuchar）和爱荷华州共和党参议员查克·格拉斯利（Chuck Grassley）共同提出的《美国创新与选择在线法案》和《开放应用市场法案》旨在打击谷歌母公司 Alphabet、亚马逊、Facebook 母公司 Meta 和苹果公司等科技巨头的一些垄断行为，这将是互联网向公众开放近30年来的首次重要法案。

《美国创新与选择在线法案》的内容包括禁止占主导地位的平台滥用把关权，给予营产品服务特权，使竞争对手处于不利地位；禁止施行对小企业和消费者不利，有碍于竞争的行为，例如要求企业购买平台的商品或服务以获得在平台上的优先位置、滥用数据进行竞争、以及操纵搜索结果偏向自身等。

不公平地限制大平台内其他商业用户的产品、服务或业务与涵盖平台经营者自己经营的产品、服务或业务相竞争能力，从而严重损害涵盖平台中的竞争。

除了出于大平台安全或功能的需要，严重限制或阻碍平台用户卸载预装的软件应用程序，将大平台用户使用大平台经营者提供的产品或服务设置为默认或引导为默认设置。

《开放应用市场法案》针对“守门人”执行，预计将会在应用商店、定向广告、互联操作性，以及垄断并购等方面，对相应企业做出一系列规范要求。此外欧盟方面还曾透露，如“守门人”企业不遵守上述规则，将按其上一财政年度的全球总营业额对其处以“不低于 4%、但不超过20%”的罚款。法案允许应用程序侧载（在应用商店之外下载应用程序），旨在打破应用商店对应用程序的垄断能力，将对苹果、谷歌的应用商店商业模式产生重要影响。

大型科技公司们史无前例搁置竞争，并且很有默契地联合起来。他们和他们的贸易团体在两年内耗费大约 1 亿美元进行游说，超过了制药和国防等高支出行业。他们向政界人士捐赠了 500 多万美元，科技游说人士向负责捍卫民主党多数席位的政治行动委员会（PAC）捐赠了 100 多万美元。他们还向不需要披露资金来源的黑钱组织、非营利组织和行业协会投入了数百万美元。几位国会助手表示，他们收到的有关这些法案的宣传比他们多年来处理的任何其他法案都要多。

这两项法案已通过国会相关委员会的审查，依然在等待众议院和参议院的表决。而美国即将开始中期选举。Deese 称，共和党已经明确表示，如果共和党重新控制国会两院，他们将不会支持这些法案。但如果民主党当选的话，科技巨头们估计不好过了。

很遗憾的是，2023年，新一届美国国会开幕后，众议院议长的选举经多轮投票仍然“难产”，导致新一届国会众议院无法履职。开年的这一乱象凸显美国政治制度失灵与破产，警示美国党争极化的趋势恐正愈演愈烈；

欧盟也多次盯上四大公司，仅谷歌一家，欧盟近三年来对其开出的反垄断处罚的金额已累计超过 90 亿美元。

而中国的举措也不小。

2020 年年初，实施了近 12 年的《反垄断法》（2008 年 8 月 1 日生效）首次进入“大修”——国家市场监督管理总局在其官网公布了《反垄断法修订草案（公开征求意见稿）》（以下简称“征求意见稿”）。

《法制日报》报道指出，征求意见稿中共有 8 章 64 条，较现行法要多出 7 条。可见，这次修法，已与另立新法有同等规模。

值得注意的是，征求意见稿还首次将互联网业态纳入其中，新增互联网领域的反垄断条款，针对性地列明相关标准和适用规程。

以市场支配地位认定为例，征求意见稿根据互联网企业的特点，新增了包括网络效应、规模经济、锁定效应、掌握和处理相关数据的能力等因素。

11 月 10 日，赶在双 11 前一天，国家市场监管管理总局再次出手，发布了《关于平台经济领域的反垄断指南（征求意见稿）》（以下简称《指南》）公开征求意见的公告。

《指南》不仅对“互联网平台”做了进一步界定，还结合个案更为具体详尽地对垄断协议，滥用市场支配地位行为，经营者集中，滥用行政权力排除、限制竞争四个方面作出分析和规定。

国家在平台经济领域、反垄断领域的法律规范，在《反垄断指南》出台以后，已经有了相当程度的完善。后续随着《反垄断法》修正案的通过，二者结合基本构建了我国反垄断领域的法律框架。

随着《反垄断法》的完善，在互联网领域的处罚案例逐渐浮出水面，针对阿里巴巴、美团等互联网公司都开出了大额罚单。

2021年我国在网络安全方面也加速发展。2021年6月10日颁布《中华人民共和国数据安全法》，2021年8月20日颁布《中华人民共和国个人信息保护法》。有关部门相继出台了《网络安全审查办法》《常见类型移动互联网应用程序必要个人信息范围规定》《数据出境安全评估办法（征求意见稿）》等部门规章和政策性文件。

可以预见的是，未来监管部门的监管措施更能兼顾互联网行业发展特征和社会整体福利，监管部门会不断完善规章、政策文件和标准文件，提供给企业明确和细化的指引。同时，相关部门的监管反应速度会越来越及时，监管层面对违法查处的力度也会越来越严。

人口红利

我们依然处在人口规模巨大的惯性中，人口规模巨大意味着潜在市场规模巨大，伴随经济持续发展、收入水平提高、消费能力强劲，由此带来的超大市场规模不可估量。而现在人口红利没了。

中国国家统计局 1 月 17 日公布，2022年末全国人口(包括 31 个省、自治区、直辖市和现役军人的人口，不包括居住在 31 个省、自治区、直辖市的港澳台居民和外籍人员) 141175 万人，比上年末减少 85 万人。这是近61年来中国首次人口负增长。人口负增长的早期阶段是一种温和的人口减少，所以依然会沿袭人口规模巨大的惯性；但在人口负增长的远期阶段，如果生育率仍未有所回升的话，就有可能导致一种直线性的减少。

目前所有行业都不得不面临从人口红利转向素质红利的转变。

人员过剩

微软在过去两年员工数新增 6 万，Google 则是新增了 7 万，Meta 则是直接从疫情之前的 4 万翻倍至 2022 年的 8.7 万。而依赖物流服务的亚马逊则最为激进，两年时间全球全职员工数增长了令人咂舌的 8.1 万，全职员工数近乎翻倍。

高盛的经济学家在一份报告中指出“那些正在裁员的科技公司有一些共同点，希望重新平衡业务的结构性转变，并为更好的利润开路。我们发现，许多最近宣布大规模裁员的公司都有三个共同特征。首先，许多都是在科技领域。其次，许多公司在疫情期间大肆招聘。第三，它们的股价出现了更大幅度的下跌，从峰值平均下跌了 43%。”

平均而言，那些进行裁员的公司在疫情期间的员工数量增长了 41%，此举往往是因为他们过度推断了与疫情相关的趋势，比如商品需求或在线时间的增长。

行裁员的公司并不能代表更广泛的情况，最近许多裁员公告并不一定意味着需求状况会减弱。与此一致的是，高盛预计更具代表性的实时估计的裁员率最近虽有所增加，但仅恢复到疫情前的水平，以历史标准衡量，裁员率水平较低。

结论

全球经济下行是大势，层层增加的法律监管是推动，没有人口红利和新玩法股价要大跌。

全球通胀激增，激进的货币紧缩政策以及不确定性加剧、俄乌战争等影响，全球经济低迷。新冠疫情带来的影响难以快速恢复。而中国还得面临人口红利消失、房地产饮鸩止渴的深远影响。而法律的层层监管和反垄断的推进在逐步打压科技巨头的已有市场，没有新技术的突破和新玩法让科技巨头们也没了新增和突破的空间。对于未来的经济发展的错误预估和疫情特殊时期的大量增长让科技巨头们大肆招聘，这些都成为了股价下跌和缩减利润的元凶。目前的大裁员可以算是一种虚假繁荣的泡沫爆裂后的回调，虽然不知道这个回调什么时候结束，但是随着人工智能的出圈和将来新技术的突破，也许整个行业可以浴火重生。

从 ChatGPT 看未来

Qin — Fri, 10 Feb 2023 07:33:09 GMT

2023 年 AIGC 之年

2022 年是 AlGC（Al-Generated Content,人工智能生成内容）爆火出圈的一年,不仅被消费者追捧，而且备受投资界关注，更是被技术和产业界竞相追逐。9 月 23 日，红杉美国发表文章《生成式Al：一个创造性的新世界》，认为 AIGC 会代表新一轮范式转移的开始。2022 年 10 月，Stability Al 获得约 1 亿美元融资，估值高达 10 亿美元，跻身独角兽行列。Stability Al 发布的开源模型 Stable Diffusion,可以根据用户输入的文字描述（称为提示词, prompts）自动生成图像,即文生图( Text-to-Image,T21 ）。Stable Diffusion、DALL-E 2、MidJourney 等可以生成图片的 AIGC 模型引爆了 AI 作画领域，AI 作画风行一时，标志人工智能向艺术领域渗透。

OpenAI 在几个月前推出的 ChatGPT 已在美国网络搜索和软件巨头中引发竞赛。为 OpenAI 提供支持的微软 (Microsoft Corp., MSFT) 周二表示，将把这款 AI 工具整合进自家的搜索引擎必应 (Bing) 和网络浏览器 Edge。搜索市场领头羊谷歌 (Google) 也宣布将推出自己的 AI 聊天机器人 Bard。

在太平洋彼岸的中国公司也跃跃欲试。中国搜索巨头百度 (Baidu Inc, 9888.HK, BIDU) 周二表示，在 3 月份完成内测后将推出自家的AI聊天工具文心一言 (Ernie Bot)。中国电商巨头阿里巴巴集团控股有限公司 (Alibaba Group Holding Limited, 9988.HK, BABA, 简称：阿里巴巴) 周三也宣布，正在测试自己的 ChatGPT 式工具。

百度发布消息后，其香港上市股票周二上涨 15%，虽然之后回吐部分涨幅，但年内仍累计上涨达 36%，跑赢众多中国股票。同期中国内地基准股指沪深 300 指数仅上扬 7%。与此同时，在中国上市的AI相关股票高歌猛进。深圳上市的汉王科技 (Hanwang Technology, 002362.SZ) 今年以来已上涨超过一倍。沪市的北京海天瑞声科技有限公司 (Beijing Haitian Ruisheng Science Technology Ltd., 688787.SH, 简称：海天瑞声) 已上涨两倍。汉王科技拥有字符识别产品。海天瑞声提供AI训练数据。

整个世界的所有一切被按下了加速键，什么上市公司只要一关联 chatGPT 就会上涨，但是说实话这并不是一个好事，这个东西真的有那么大的市值和使用场景吗？我可以很直接告诉你，很显然不是，而且它只是刚开始的第一步。

按照现在的说法，我们应该把从去年到今年的人工智能掀起的热浪称为 AIGC，也被称为
AI-Generated Content，即人工智能生成内容。从深度学习和 Transformer 兴起后开始我们可以大致将深度学习分为理解和生成，而 AIGC 就是生成那一侧。深度学习模型可以通过超大量的数据训练并且根据指令要求创造出新的文本、诗歌、队列、图像、音乐、视频等等。

某种意义上来说 ChatGPT 是真正意义上的“出圈”，以极短的时间席卷了全球，达成了互联网最快的用户增长记录。个人认为 ChatGPT 那么火和意义那么大主要是因为它开始更容易遵循人类指令了。如果我们把去年的图像生成，以人类输入的文本作为基础生成图像作为第一代的遵循人类指令的范本，它只能遵循其中一段指令。而以 ChatGPT 第二代为例，AI 开始可以以交互及多轮对话的方式遵循多个指令并且还能关联上下文进行推理。

得益于 think-by-think、Chain-of-Thought、RLHF 等训练方式和优化方案，我们发现模型可以在人类的帮助下遵循我们的要求一步步得到一个符合人类喜好的生成结果。

所以在我看来，一个能遵循多次指令、能通过沟通方式要求修改、可复现的范式才能算是真正的 AIGC 元年。我们拿去年的图像生成（AI 作画）举例，图像生成想要做出好的图片是非常难的，你甚至还需要找到非常好的 prompt 词语（提示词）才能画出来，这甚至催生出大量专门贩卖相关提示词的公司和个人，这说明图像生成（AI 作画）仍然是一个需要专业知识的人才能使用的工具。

比如想模仿梵高的向日葵画一幅同样风格的玫瑰花，那如果我们希望这幅画有着非常惊艳的水准我们需要这个人首先有着很好的审美，其次对艺术风格有基本了解、知道哪些风格词汇同时经过大量尝试和生成后再选出自己认为好看的画再发出来。

当然上面我们的例子只是一个比较简单的需求，但假设我们生成了一张图，需要对其中某些细节进行修改，似乎就还是得靠自己。AI 作画更像是一种辅助艺术家、设计师的工具。

而 chatGPT 带来一种新的体验，我们似乎只要会说话、会打字我们就能给 AI 提出要求，比如写一段文案、查询自己的问题、不开心时聊聊天。以人类最擅长最常用的表达方式覆盖了很多不需要专业知识场景。

ChatGPT 的“出圈”是一种信号，越来越多普通人、非科技和互联网的从业者发现似乎有那么一种东西可以提升自己的生产力。

当然这种 AI 能力目前影响最大以及受到冲击最大的肯定是搜索引擎和互联网的内容生产者，如果我们可以通过问答式的方式以最快的方式找到答案，那为什么我们要用搜索引擎呢？如果我们不用搜索引擎，它们没法通过广告营收不就没有市值了吗？

当然我个人认为本质上对搜索引擎冲击那么大是因为搜索引擎长期统治了互联网的入口、充斥着大量无关的、广告的、营销的、跟踪你行为的东西，甚至逼得大家都想用隐私搜索引擎（如 DuckDuckGo 的兴起）。甚至在近两年会听到某些问题用知乎或者小红书搜索可能都比百度搜索更快。

其次影响最大的一定是云厂商，ChatGPT 代表是一种成本极高、规模极大的 AI 公有云能力，每个国家肯定只有少数的公司有能力、有资金、有人员去训练一个自己的这样的 AI，那么其它想使用这种能力的公司就必须寻找到一个合适的服务商，那哪有比云厂商更适合承担这样需求的公司呢？

可以预感到也许近几年就会出现一种既有 ChatGPT 能力的，又有能与图像生成、图像理解、视频生成、视频理解、声音生成、声音理解、多任务合一的全新的 AI 范式。姑且称为能以自然语言交互的多模态多任务统一范式。

AIGC 真正的价值

我们这里引用红杉资本的一段话：

生成式 AI 正在变得不仅更快、更便宜，而且在某些情况下比人类创造的更好。从社交媒体到游戏，从广告到建筑，从编程到平面设计，从产品设计到法律，从市场营销到销售，每一个原来需要人类创作的行业都等待着被机器重新创造。某些功能可能完全被生成式 AI 取代，而其他功能则更有可能在人与机器之间紧密迭代的创作周期中蓬勃发展。但生成式 AI 应该在广泛的终端市场上解锁更好、更快、更便宜的创作。人们期待的梦想是：生成式 AI 将创造和知识工作的边际成本降至零，产生巨大的劳动生产率和经济价值，以及相应的市值。

生成式AI可以处理的领域包括了知识工作和创造性工作，而这涉及到数十亿的人工劳动力。生成式AI可以使这些人工的效率和创造力至少提高 10%，它们不仅变得更快和更高效，而且比以前更有能力。因此，生成式 AI 有潜力产生数万亿美元的经济价值。

我们可以概括下，释放重复工作的生产力，将某些生产的成本不断降低到无限接近 0。

AIGC 影响的行业

麦肯锡全球研究所合伙人 Anu Madgavkar 向媒体表示，这是因为人类的判断仍然需要应用于这些技术，以避免错误和偏见：我们必须把这些东西看作提高生产力的工具，而不是完全的替代品。

我个人认为会以下几种类型的工作或者行业比较容易受到影响：

文字写作类工作：如文案写作、文档写作、新闻写作等工作。
法律类初级工作：律师助理和法律助理等法律行业工作人员也是在进行大量的信息消化后，综合他们所学到的知识，然后通过撰写法律摘要或意见使内容易于理解。
研究分析师：市场研究分析师负责收集数据，识别和确定数据中的趋势，然后利用他们的发现设计有效的营销活动或决定在哪里投放广告。人工智能相对来说更加擅长分析数据和预测结果。
通过多轮对话处理某件事的工作：比如银行柜员、中介、客服等。准确来说任何可以通过多轮对话、语言交互处理事情的工作。可以想象下你去银行存钱取钱、销卡等常见业务是不是似乎就是一场多轮对话。
艺术和设计类工作：通过先将需求给到 AI，生成出来的东西再经过多轮对话反复修改后再进行人工调整可以极大的降低艺术和设计类工作的成本和人力。
元宇宙：想要实现元宇宙，每个人都能有自己所喜欢的空间的话，那么我们需要一个可以帮助我们定制这个宇宙的超强 AI，它的生成速度非常快、成本非常低。
游戏：其实在游戏行业，只做一款游戏需要的成本是非常大的，如果我们能通过对话的形式让 AI 生成我们所需的艺术资产（地图、角色、模型、背景故事、对话脚本、CG、概念设计图等等）、甚至帮我们写好游戏的一些逻辑，可以极大的提升游戏的生产力。甚至可能我们给每个 NPC 设计一个合适的背景，它可以跟玩家自由对话，仿佛这就是一个真实的世界！

AIGC 的法律与隐私问题

首先我们聊下隐私问题吧，其实对于什么样的信息能够作为 AI 的训练数据，什么信息不应该到目前为止各个国家仍然没有完全的界定。举个例子如果有个 AI 公司利用我们的人脸作为数据训练，然后将训练好的成品卖出去盈利了，那么它既没有征得我们的同意也没有分成给我，那每个人不就是资本的“数字奴隶”了么？甚至我们的聊天记录、写的文章、画的画我们并不希望被拿去训练。

当务之急就是界定合适的法律，规范“数据”能来自于哪、能使用哪些、是否需要征得本人同意等等。还有很多平台使用的“你在这个平台发的任何东西版权归属本平台”这样的霸王条款应该尽快废除。

其次严重的是版权问题，举个例子如果这个 AI 生成的一篇科幻小说可能与《三体》中的情节很像，那么是使用生成 AI 的作者应该负责还是设计这个 AI 的公司/个人应该负责呢？用 AI 生成的画与画家画的话特别像，那么究竟有没有版权问题呢？这些版权问题似乎都还没有办法界定。

第三我们可以预感到将来的生产关系可能发生了改变，裁员危机很难说什么时候会结束，那么是不是应该有更新的劳动模式呢？我们可以预感到如果 AI 不断兴起，将来的社会重复性的工作所需的人将会越来越少，创造性和高精尖的人才的重要性将会越来越大。

A Path Towards Autonomous Machine Intelligence 笔记

Qin — Sat, 28 Jan 2023 04:19:18 GMT

原论文来自 Yann Lecun 在 2022 年 6 月发表的《A Path Towards Autonomous Machine Intelligence》。主要讲了关于未来十年的 AI 发展，主要讨论 AI 如何像人和动物一样思考、学会推理。主要中文翻译参考 @浙江大学 Hepta AI Lab 的翻译版本。

机器如何能像人类和动物一样高效地学习？机器如何学会推理和计划？机器如何在多个抽象层次上学习感知和行动计划的表示，使它们能够在多个时间范围内进行推理、预测和计划？本篇论文提出了构建自主智能体的架构和训练范式。它结合了诸如可配置的预测世界模型、通过内在动机驱动的行为以及通过自我监督学习训练的分层联合嵌入架构等概念。

人类和非人类动物似乎能够通过观察和以独立于任务、无人监督的方式进行的少量交互来学习大量关于世界如何运作的背景知识。可以假设，这种积累的知识可能构成了通常被称为常识的基础。常识可以看作是世界模型的集合，可以告诉智能体什么是可能的，什么是合理的，什么是不可能的。使用这样的世界模型，动物可以通过很少的试验学习新技能。他们可以预测自己行为的后果，可以推理、计划、探索和想象问题的新解决方案。重要的是，他们还可以避免在面对未知情况时犯下危险的错误。

常识知识不仅可以让动物预测未来的结果，还可以在时间或空间上填补缺失的信息。它使他们能够产生与常识一致的感知解释。当面对模棱两可的感知时，常识允许动物摒弃与其内部世界模型不一致的解释。

本文中的一个假设是，动物和人类在其前额叶皮层的某个地方只有一个世界模型引擎。该世界模型引擎可针对手头的任务进行动态配置。使用单个可配置的世界模型引擎，而不是针对每种情况的单独模型，可以跨任务共享有关世界如何运作的知识。这可以通过将针对一种情况配置的模型应用于另一种情况来进行类比推理。

自主智能代理的建议架构如图所示。它由许多模块组成：

配置器模块从所有其他模块获取输入，并通过调整它们的参数和注意力网络来为手头的任务配置它们。特别是，配置器可以启动感知、世界模型和成本模块以实现特定目标。

感知模块接收来自传感器的信号并估计世界的当前状态。对于给定的任务，只有一小部分感知的世界状态是相关的和有用的。感知模块可以以分层方式表示世界的状态，具有多个抽象级别。配置器启动感知系统以从感知中提取相关信息以用于手头的任务。

世界模型模块构成了架构中最复杂的部分。它的作用是双重的：（1）估计感知不提供的关于世界状态的缺失信息，（2）预测世界的合理未来状态。世界模型可以预测世界的自然演化，或者可以预测由actor模块提出的一系列动作产生的未来世界状态。世界模型可以预测多个似是而非的世界状态，由代表世界状态不确定性的潜在变量参数化。世界模型是世界相关方面的一种“模拟器”。世界状态的哪些方面是相关的，取决于手头的任务。配置器配置世界模型来处理手头的情况。预测是在包含与手头任务相关的信息的抽象表示空间中执行的。理想情况下，世界模型将在多个抽象层次上操纵世界状态的表示，使其能够在多个时间尺度上进行预测。

成本模块以称为能量的标量形式测量智能体的“不适”程度。能量是由两个子模块计算的两个能量项的总和：内在成本模块和可训练批评者模块。智能体的总体目标是采取行动以保持在最小化平均能量的状态。

内在成本模块是硬连线的（不可变的、不可训练的）并计算单个标量，即衡量智能体瞬时“不适”的内在能量——想想疼痛（高内在能量）、快乐（低或负内在能量），饥饿等。模块的输入是世界的当前状态，由感知模块产生，或者是世界模型预测的潜在未来状态。代理的最终目标是在长期内最小化内在成本。这是基本的行为驱动和内在动机所在的地方。内在成本模块的设计决定了代理人行为的性质。基本驱动器可以在此模块中进行硬接线。这可能包括当站起来激励有腿机器人行走时感觉“好”（低能量），当影响世界状态以激励代理时，当与人类互动以激励社会行为时，当感知附近人类的快乐以激励时同理心，当有充足的能量供应（饥饿/饱腹感），当经历一个激发好奇心和探索的新环境时，当完成一个特定的计划时，等等。相反，当面对一个痛苦的情况或一个容易识别的情况时，能量会很高危险情况（接近极热、火灾等），或使用危险工具时。内在成本模块可以由配置器调制，以在不同时间驱动不同的行为。
可训练的 Critic （批评）模块预测未来内在能量的估计。与内在成本一样，它的输入要么是世界的当前状态，要么是世界模型预测的可能状态。对于训练，critic 检索存储在联想记忆模块中的过去状态和随后的内在成本，并训练自己从前者预测后者。评论模块的功能可以由配置器动态配置，以将系统引导到特定的子目标，作为更大任务的一部分。

短期记忆模块存储有关世界过去、现在和未来状态的相关信息，以及内在成本的相应值。世界模型访问和更新短期记忆，同时在时间上预测世界的未来（或过去）状态，在空间上完成缺失的信息或纠正有关当前世界状态的不一致信息。世界模型可以向短期记忆发送查询并接收检索到的值，或者存储新的状态值。可以通过从内存中检索过去的状态和相关的内在成本来训练评论模块。该架构可能类似于 Key-Value Memory Networks (Miller et al., 2016) 的架构。该模块可以被视为与脊椎动物中的海马体具有相同的作用。

演员模块计算动作序列的建议并将动作输出到效应器。演员向世界模型提出一系列行动。世界模型根据动作序列预测未来的世界状态序列，并将其反馈给成本。给定由成本定义的目标（由配置器配置），成本计算与提议的动作序列相关的估计未来能量。由于参与者可以访问估计成本相对于提议的动作序列的梯度，因此它可以使用基于梯度的方法计算最小化估计成本的最佳动作序列。如果动作空间是离散的，则可以使用动态规划来找到最佳动作序列。优化完成后，actor 将第一个动作（或一小段动作）输出到效应器。这个过程类似于最优控制中的模型预测控制（Bryson 和 Ho，1969）。

该模型可以采用两种可能的模式来进行感知动作情节。第一个不涉及复杂的推理，直接从感知的输出和可能的短期记忆访问产生一个动作。我们将其称为“模式 1”，类似于卡尼曼的“系统 1”。第二种模式是通过世界模型和成本进行推理和规划。它类似于模型预测控制 (MPC)，这是最优控制和机器人技术中的经典规划和推理范式。我们将其称为“模式 2”，类似于卡尼曼的“系统 2”。我们在这里使用广义的“推理”一词来表示约束满足（或能量最小化）。许多类型的推理可以被视为能量最小化的形式。

模式一：反应性行为

上图描述了模式一的感知-动作片段。感知模块通过编码器模块提取世界状态的表示 s[0] = Enc(x)，其中包含手头任务的相关信息 . 策略模块是参与者的一个组件，它根据状态 a[0] = A(s[0]) 生成一个动作。产生的动作被发送到效应器。策略模块的功能由配置器调制，配置器针对手头的任务对其进行配置。

策略模块实现了一个纯粹的反应策略，不涉及通过世界模型进行刻意的计划或预测。然而，它的结构可能非常复杂。例如，除了状态 s[0] 之外，策略模块还可以访问短期记忆以获取有关先前世界状态的更完整信息。它可以使用短期记忆来关联检索给定当前状态的动作。

虽然成本模块是可微的，但其输出 f[0] = C(s[0]) 会间接地受到先前通过外部世界执行的操作的影响。由于世界是不可微的，所以不能通过【成本←感知←世界←动作】从成本反向传播梯度。在这种模式下，关于动作的代价 f[0] 的梯度只能通过使用多个扰动动作轮询世界来估计，但这是缓慢且潜在的危险。这个过程对应于强化学习中的经典策略梯度方法。

在模式 1 期间，系统可以选择性地调整世界模型。它运行世界模型一步，预测下一个状态 s[1]，然后等待由所采取的动作产生的下一个感知，并使用观察到的世界状态作为预测器的目标。通过使用世界模型，代理可以想象动作过程并预测它们的效果和结果，通过在外部世界中尝试多种动作并测量结果来减少对好的动作和策略进行昂贵且危险的搜索的需要。

模式二：使用世界模型进行推理和规划

上图描述了模式 2 的典型感知-动作情节。感知模块估计世界 s[0] 的状态。演员提出一系列动作 a[0], a[1], 。 . . , a[t], a[t + 1], . . . ， a[T]]。世界模型使用 s[t + 1] = Pred(s[t], a[t]) 递归地预测世界状态序列的估计。成本 C(s[t]) 计算序列中每个预测状态的能量，总能量是它们的总和。通过优化或搜索过程，参与者推断出一系列最小化总能量的动作。然后它将序列中的第一个动作（或前几个动作）发送到效应器。实际上，这是具有后退水平规划的经典模型预测控制的一个实例。由于成本和模型是可微的，因此可以使用基于梯度的方法来搜索最优动作序列，就像在经典最优控制中一样。由于总能量是随时间相加的，因此也可以使用动态规划，特别是当动作空间较小且离散时。成对的状态（由编码器计算或由预测器预测）和来自内在成本和可训练评论家的相应能量存储在短期记忆中，用于评论家的后续训练。

感知：感知系统提取世界当前状态 s[0] = P(x) 的表示。成本模块计算并存储与该状态相关的直接成本。
动作提议：参与者提出一个初始动作序列，以馈送到世界模型进行评估（a[0]，...，a[t]，...，a[T]）。
模拟：世界模型预测一个或几个可能的世界状态表示序列，这些序列是由建议的动作序列（s[1]、...、s[t]、...、s[T]）产生的。
评估：成本模块从预测的状态序列估计总成本，通常作为时间步长的总和 F(x) = PT t=1 C(s[t])
计划：参与者提出一个成本较低的新动作序列。这可以通过基于梯度的过程来完成，其中成本的梯度通过计算图反向传播到动作变量。得到的最小成本动作序列表示为 (aˇ[0], . . . , aˇ[T])。完全优化可能需要迭代步骤 2-5。
行动：在一个低成本动作序列上收敛后，演员将低成本序列中的第一个动作（或前几个动作）发送给效应器。为下一个感知动作集重复整个过程。
记忆：在每一个动作之后，内在成本和批评者的状态和相关成本都存储在短期记忆中。这些对可以在以后用于训练或适应批评者。

这个过程本质上就是所谓的模型预测控制 (MPC-Model Predictive Control)，在最优控制文献中具有后退范围。与经典最优控制的区别在于学习了世界模型和成本函数。原则上，任何形式的优化策略都可以用于第 5 步。虽然当世界模型和成本表现良好时，基于梯度的优化方法可能是有效的，但动作成本映射不连续的情况可能需要使用其他优化策略，特别是如果状态和/或动作空间可以离散化。这些策略包括动态规划、组合优化、模拟退火和其他无梯度方法、启发式搜索技术（例如带有修剪的树搜索）等。

在模式 2 中制定合适的动作序列的过程可以看作是一种推理形式。这种推理形式基于使用世界模型的模拟，以及关于动作序列的能量优化。更一般地说，“动作”可以看作是代表从一种状态到另一种状态的抽象转换的潜在变量。这种通过模拟和优化进行的规划可能构成了自然智能中最常见的推理类型。

AI 中许多经典的推理形式实际上可以表述为优化问题（或约束满足问题）。对于使用因子图和概率图模型执行的概率推理，情况肯定是这样。所提出的架构实际上是一个因子图，其中成本模块是对数因子。但是，所提出的架构所支持的推理超出了传统的逻辑和概率推理。它允许通过模拟和类比进行推理。

内在成本模块 (IC) 是定义代理的基本行为性质的地方。这是可以间接指定基本行为的地方。对于机器人，这些术语将包括与“疼痛”、“饥饿”和“本能恐惧”相对应的明显本体感受测量，测量外力过载、危险的电气、化学或热环境、过度功耗、低水平等电源中的能量储备等。它们还可能包括帮助智能体学习基本技能或完成其任务的基本驱动力。例如，一个有腿的机器人可能包含驱动它站立和行走的内在成本（译者：很像DNA）。这也可能包括社会动力，例如寻求人类的陪伴，寻找与人类的互动并从他们那里得到奖励，以及发现他们的痛苦令人不快（类似于社会动物的同理心）。其他内在的行为驱动力，例如好奇心，或采取具有可观察影响的行动，可能会被包括在内，以最大限度地提高世界模型训练的情境多样性（Gottlieb et al., 2013）

IC 可被视为与哺乳动物大脑中的杏仁核和其他脊椎动物中的类似结构所起的作用相似。 为了防止某种行为崩溃或不受控制地转向不良行为，IC 必须是不可变的，并且不受学习（也不受外部修改）的影响。评论家 (TC) 的作用是双重的：(1) 以最少的繁重世界模型的使用来预测长期结果，以及 (2) 允许配置器使代理专注于以学习成本完成子目标。

训练批评家。在计划阶段，内在成本模块将三元组（时间、状态、内在能量）： (τ, sτ , IC(sτ )) 存储到联想短期记忆中。在critic 训练期间，critic 检索过去的状态向量 sτ ，以及稍后时间 IC(sτ+δ) 的固有能量。在最简单的场景中，critic 调整其参数以最小化目标 IC(stau+δ) 和预测能量 C(sτ) 之间的差异度量。在更复杂的方案中，它可能使用未来内在能量的组合作为目标。请注意，状态序列可能包含有关代理计划或采取的行动的信息。

训练世界模型是自我监督学习（SSL）的一个典型例子，其基本思想是模式补全。对未来输入（或暂时未观察到的输入）的预测是模式补全的一个特例。在这项工作中，世界模型的主要目的被视为预测世界状态的未来表示。

有三个主要问题需要解决。首先，很明显，世界模型的质量将在很大程度上取决于状态序列的多样性，或者它在训练时能够观察到的三元组**（状态、动作、结果状态）。其次，由于世界不是完全可预测的，因此可能存在多个合理的世界状态表示，它们遵循给定的世界状态表示和代理的动作**。世界模型必须能够有意义地表示这个可能无限的合理预测集合。第三，世界模型必须能够在不同的时间尺度和不同的抽象层次上做出预测。

第一个问题涉及围绕顺序决策过程学习的一个主要问题：“训练集”的多样性取决于所采取的行动。该问题将在下文第 4.10 节中讨论。

第二个问题更可怕：世界并非完全可以预测。因此，世界模型应该能够表示来自给定状态和（可选）动作的多个似是而非的结果。这可能构成本提案带来解决方案的最困难挑战之一。这个问题将在下面的第 4.8 节中讨论。

第三个问题涉及长期预测和规划问题。人类在抽象层面计划复杂的目标，并使用对世界状态和行动的高级描述来做出预测。然后将高级目标分解为更基本的子目标序列，使用来自世界模型的短期预测来产生较低级别的动作。根据当地情况，这种分解过程一直重复到毫秒级的肌肉控制。第 4.6 节讨论了世界模型如何在多个时间尺度和多个抽象层次上表示行动计划的问题。

自监督学习 (SSL) 是一种范式，其中训练学习系统以捕获其输入之间的相互依赖关系。具体来说，这通常归结为训练一个系统来告诉我们其输入的各个部分是否彼此一致。自监督学习的本质是自动构造数据集，监督信号是机器生成的，也就是自动的，所以称为自监督。捕获输入间的相互依赖关系，本质就是将这个自动构造的数据集和它自动生成的监督信号的依赖对应起来而已。

使用基于能量的模型 (EBM) 的框架进行一般公式化。该系统是一个标量值函数 F(x, y)，当 x 和 y 兼容时，它会产生低能量值，而当它们不兼容时会产生更高的能量值。这个概念如图 8 所示。数据点是黑点。能量函数在数据点周围产生低能量值，并在远离高数据密度区域产生较高能量，如能量景观的等高线所示。 EBM 隐式函数公式使系统能够表示多模态依赖关系，其中 y 的多个值与给定的 x 兼容。与给定 x 兼容的 y 集合可以是单个点、多个离散点、流形或点和流形的集合。

SSL 是一种学习范式，其中训练学习系统以“填补空白”，或者更准确地说，以捕获输入的可观察部分与输入的可能未观察部分之间的依赖关系。部分输入信号被观察到并表示为 x（粉红色），部分输入信号被观察到或未观察到并表示为 y（蓝色）。在时间预测场景中，x 代表过去和现在的观察，y 代表未来的观察。在一般模式完成场景中，输入的各个部分可能在不同时间被观察到或未被观察到。训练学习系统通过标量值能量函数 F(x, y) 捕获 x 和 y 之间的依赖关系，当 x 和 y 一致或兼容时取低值，如果 x 和 y 不一致或不兼容则取高值.在视频预测场景中，如果视频剪辑 y 是视频剪辑 x 的合理延续，系统将产生低能量值。这种基于能量的模型 (EBM) 公式使系统能够表示多模态依赖关系，其中 y 的多个值（可能是无限集）可能与给定的 x 兼容。在右侧面板中，表示能量景观，其中深色圆盘表示数据点，闭合线表示能量函数的轮廓（水平集）。

这样的 SSL 系统可以通过视频培训来学习哪些概念？我们的假设是，可以获得关于世界如何运作的抽象概念的层次结构。

学习小图像区域的表示，使其在空间和时间上可以从周围的相邻区域预测，这将导致系统提取图像中的局部边缘和轮廓，并检测视频中的移动轮廓。学习图像的表示，以便从一个视点的场景表示可以从稍微不同的视点的同一场景的表示中预测，这将导致系统隐式表示深度图（译者：在3D计算机图形和计算机视觉中，深度图是一种图像或图像通道，其中包含与场景对象的表面到视点的距离有关的信息，用于模拟的3D形状或重建他们。深度图可以由3D扫描仪生成或从多个图像重建）。深度图是解释相机轻微移动时场景视图如何变化的最简单方法。一旦学习了深度的概念，系统就可以轻松识别遮挡边缘以及属于刚性对象的区域的集体运动。 3D 对象的隐式表示可能会自发出现。一旦物体的概念出现在表示中，物体持久性等概念可能会变得容易学习：由于视差运动而消失在其他物体后面的物体总是会重新出现。无生命和有生命的物体之间的区别如下：无生命的物体是那些轨迹容易预测的物体。诸如稳定性、重力、动量之类的直观物理概念可以通过训练系统在对象表示级别执行长期预测来实现。可以想象，通过在越来越抽象的表示水平和越来越长的时间尺度上进行预测，可以以分层的方式获得越来越多的关于世界如何运作的复杂概念。

在时间预测场景中，潜在变量表示仅从 x 和过去的观察（过去）无法预测关于 y（未来）的内容。它应该包含对预测有用但不可观察或不可知的所有信息。我可能不知道我前面的司机是左转还是右转，加速还是刹车，但我可以用一个潜在变量来表示这些选项。（译者：本质与决策树、博弈论类似，拟造潜在变量）

潜变量 EBM (LVEBM) 是取决于 x、y 和 z 的参数化能量函数：Ew(x, y, z)。当出现一对 (x, y) 时，EBM 的推理过程会找到一个潜在变量 z 的值，它使能量最小化。这种通过最小化的潜变量推断允许我们从能量函数中消除 z。（感觉跟因果推断的平掉混杂因子有点像）

联合嵌入预测架构 (JEPA)，它可以看作是联合嵌入架构和潜在变量生成架构的组合。 JEPA 是非生成的，因为它实际上并不预测 y，而是根据 x, sx 的表示预测 y, sy 的表示。JEPA 不是生成式的，因为它不能轻易地用于从 x 预测 y。它仅捕获 x 和 y 之间的依赖关系，而不显式生成 y 的预测。

第一个分支计算 sx，一个 x 的表示，第二个分支 sy 一个 y 的表示。编码器不需要相同。预测器模块在潜在变量 z 的可能帮助下从 sx 预测 sy。能量是预测误差。 JEPA 的简单变体可以不使用预测器，强制两个表示相等，或者可以使用没有潜在的固定预测器，或者可以使用简单的潜在变量，例如离散变量。 JEPA 的主要优点是它在表示空间中执行预测，避免了预测 y 的每个细节的需要，并且能够通过编码器消除不相关的细节。更准确地说，这种表示多模态依赖关系的架构的主要优点是双重的：(1) 编码器函数 sy = Enc(y) 可能具有不变性，这将使其对一组不同的 y 产生相同的 sy。这使得该集合上的能量恒定，并允许模型捕获复杂的多模态依赖性； (2) 潜变量 z 在集合 Z 上变化时，可以产生一组似是而非的预测 Pred(sx, Z) = {s˜y = Pred(sx, z) ∀z ∈ Z} 如果 x 是视频当汽车接近岔路口时，sx 和 sy 可以分别表示岔路口前后汽车的位置、方向、速度和其他特征，忽略不相关的细节，例如道路边缘的树木或道路的纹理人行道。 z 可以表示汽车是走左支路还是右支路。

JEPA 的主要优点是它在表示空间中执行预测，无需预测 y 的每个细节。这是因为 y 的编码器可以选择生成一个抽象表示，从中消除不相关的细节。注意，JEPA 可以通过两种方式表示与 x 兼容的 y 值的多样性。第一个是 y 编码器的不变性，第二个是潜在变量 z，如下所述。

通过编码器不变性实现多模态：编码器函数 sy = Enc(y) 可能具有不变性。如果集合中的所有 y 映射到相同的 sy 值，则所有这些 y 将具有相同的能量。使用 JEPA，我们失去了生成输出的能力，但我们获得了一种强大的方式来表示输入和输出之间的多模态依赖关系。

通过潜在变量预测器实现多模态：预测器可以使用潜在变量 z 来捕获预测 sy 所需的信息，而这些信息在 sx 中不存在。当 z 在集合 Z 上变化时，预测器会产生一组似是而非的预测 Pred(sx, Z) = {s~y = Pred(sx, z) ∀z ∈ Z}。例如，如果 x 是汽车接近岔路口的视频剪辑，则 sx 和 sy 可能代表汽车过去和未来的位置、方向、速度和其他特征，忽略不相关的细节，例如道路边缘的树木或人行道的纹理。潜在 z 可能是一个二进制变量，指示汽车是走左分支（z = 0）还是右分支（如果是道路，则 z = 1。如果汽车走左分支，则值 z = 0 将产生较低的能量 D(sy, s~y) 比 z = 1。

非对比训练的 JEPA 模型可能构成我们学习能够学习相关抽象的世界模型的最佳工具。当使用 VICReg 和类似标准进行训练时，JEPA 可以选择训练其编码器以消除输入的不相关细节，从而使表示更可预测。换句话说，JEPA 将学习使世界可预测的抽象表示。 不可预测的细节将被编码器的不变特性消除，或者将被推入预测器的潜在变量中。因此被忽略的信息量将被训练标准和潜变量正则化器最小化。

JEPA 学习可以执行准确预测的抽象表示的能力允许分层堆叠。在此图中，JEPA-1 提取低级表示并执行短期预测。 JEPA-2 将 JEPA-1 提取的表示作为输入，并提取可以执行长期预测的更高级别的表示。 更抽象的表示忽略了长期难以预测的输入细节，使它们能够通过对世界状态的更粗略描述来执行长期预测。

注意，生成式潜变量模型不能消除不相关的细节，除非将它们推入潜变量中。这是因为它们不会产生 y 的抽象（和不变）表示。这就是为什么我们反对使用生成式架构的原因。

JEPA 学习抽象的能力表明该架构可以扩展以处理多个时间尺度和多个抽象级别的预测。直观地说，低级表示包含很多关于输入的细节，可以用来在短期内进行预测。但可能难以产生具有相同细节水平的准确长期预测。相反，高级抽象表示可以实现长期预测，但代价是消除了很多细节。

让我们举一个具体的例子。驾驶汽车时，在接下来的几秒钟内，给定方向盘和踏板上的一系列动作，驾驶员可以准确地预测他们汽车在同一时期的轨迹。较长时期的轨迹细节更难预测，因为它们可能取决于其他汽车、交通信号灯、行人和其他外部事件，而这些外部事件在某种程度上是不可预测的。但司机仍然可以在更高的抽象层次上做出准确的预测：忽略轨迹、其他汽车、交通信号等细节，汽车可能会在可预测的时间范围内到达目的地。此级别的描述中将缺少详细的轨迹。但是，绘制在地图上的近似轨迹被表示出来。 离散潜变量可用于表示多个替代路线。

我认为，在多个抽象层次上表示世界状态序列的能力对于智能行为至关重要。通过世界状态和动作的多级表示，可以将复杂的任务分解为连续更详细的子任务，并在本地条件通知时实例化为动作序列。例如，计划一项复杂的任务，比如通勤上班，可以分解为开车去火车站、赶火车等。开车去火车站可以分解为走出家门、发动汽车、开车 . 走出家门需要站起来、走到门口、开门等。这种分解一直下降到毫秒级的肌肉控制，只有在感知到相关的环境条件（障碍物）时才能实例化、交通信号灯、移动物体等）。

如果我们的世界模型可以分层执行预测，它是否可以用于分层执行模式 2 推理和规划？分层规划是一个困难的话题，解决方案很少，其中大多数都需要预先定义动作的中间词汇。但是，如果一个人遵守深度学习的哲学，那么那些行动计划的中间表示也应该被学习。

复杂任务由从高级世界状态表示 C(s2[4]) 计算的高级成本定义。推断出一系列高级抽象动作（a2[2]、a2[4]），使 C(s2[4]) 最小化。推断的抽象动作被馈送到较低级别的成本模块 C(s[2])、C(s[4])，它们定义了较低层的子目标。然后下层推断出一个最小化子目标成本的动作序列。虽然这里只显示了一个 2 层的层次结构，但将这个概念扩展到多个层次是很简单的。此处描述的过程是自上而下的顺序，但更好的方法是对所有层中的操作执行联合优化。

预测发生在各个层面。较高级别执行长期预测，而较低级别执行短期预测。 总体任务由高级目标定义，在图中表示为 C(s2[4])。顶层推断出一系列高级动作（a2[2]、a2[4]）来优化这个目标。 这些高级“动作”不是真正的动作，而是低级预测状态的目标。 可以将它们视为低级别状态必须满足的条件，以便高级别预测准确。是否满足这些条件可以通过成本模块 C(s[2]) 和 C(s[4]) 计算。 他们采用较低级别的状态 s[2] 和高级条件 a2[2] 并测量状态满足条件的程度。 定义这些子目标后，较低级别可以执行推理并找到一个低级动作序列，以最小化中级子目标损失 C(s[2]) 和 C(s[4])。

现实世界并非完全可以预测。对未来世界状态的预测存在不确定性可能有以下几个原因：

世界本质上是随机的（偶然不确定性，类型 1）
世界是确定性的但混乱的，因此如果没有无限就很难精确感知（偶然不确定性，类型 2）
世界是确定性的，但部分是可观察的（偶然不确定性类型 3）。
世界是完全可观察的，但传感器只提供关于世界的部分世界状态（认知不确定性，类型 1）
感知模块提取的世界状态表示不包含准确预测所需的全部信息（认知不确定性，类型 2)。
世界模型是不准确的，因为它的代表性力量的限制（有界理性或认知不确定性，类型 3）。
世界模型是不准确的，因为它是用有限的数据量训练的（认知不确定性，类型 4）。

强化学习中的许多文献都集中在处理环境的随机性。通常从一开始就假定模型、批评者和策略必须代表分布。在目前的工作中，我们将预测变量的可能随机性推入一个潜在变量，可以对其进行优化、预测或采样。这就是 ML 文献中经常提到的“重新参数化技巧”。我们不需要在这里使用这个技巧，因为我们将预测的潜变量参数化视为基础。

即使使用高度抽象的表示，现实环境也不是完全可预测的。关于预测的不确定性可以通过具有潜在变量的预测器来处理。潜在变量（红色圆圈）包含无法从先前观察中得出的预测信息。潜变量必须正则化以防止能量崩溃并迫使系统在没有它的帮助的情况下尽可能多地进行预测。在规划时，潜变量是从通过将吉布斯分布应用于正则化器而获得的分布中采样的。每个样本都会导致不同的预测。为了产生一致的潜在序列，正则化器的参数可以是先前状态和检索记忆的函数。随着预测的进行，生成的状态轨迹的数量可能会呈指数增长。如果每个潜在变量都有 k 个可能的离散值，则可能的轨迹数将增长为 k的t次方，其中 t 是时间步数。必须采用定向搜索和修剪策略。使用多个预测轨迹，可以计算出使平均成本最小化的最优动作序列，或者成本的平均值和方差的组合，从而使风险最小化。

随着预测的进行，生成的状态轨迹的数量可能呈指数增长：如果每个潜在变量有 k 个可能的离散值，则可能的轨迹数量将增长为 k的t次方，其中 t 是时间步数。可以采用定向搜索和修剪策略，如经典的蒙特卡洛树搜索 (MCTS)。在连续潜伏的情况下，可以从正则化器定义的连续分布中采样潜伏。

给定所有潜在的样本，可以推断出每个级别的最佳动作序列。然而，预测过程可能需要对潜在的多个绘图重复，以便覆盖一组似是而非的结果。推理过程可用于多个预测，以产生不仅最小化预期成本而且最小化预期成本的不确定性的动作。

自然世界是复杂的，有些不可预测，需要一个具有潜在变量的强大模型来解释不可预测性。另一方面，代理本身在某种程度上更具可预测性：对效应器的特定动作将产生通常可以确定性预测的运动。这表明代理应该拥有一个单独的模型，可能没有潜在变量（Sobal 等人，2022 年），因为动作对本体感觉的影响比外部世界的演变或动作对其的影响更容易预测 . 反过来，代理本身拥有的自我模型可以用作多代理场景中其他代理模型的模板。

传统上，深度学习架构中的模块通过向量或多维数组来传递状态。但是，当被建模对象的状态从一次到下一次仅以微小的方式变化时，这往往是一种非常低效的方法。 代理的典型动作只会修改世界状态的一小部分。如果瓶子从厨房移到餐厅，瓶子、厨房和餐厅的状态将被修改。但世界其他地区将不受影响。

这表明世界的状态应该保存在某种可写的内存中。每当一个事件发生时，只有受该事件影响的世界状态内存部分需要更新，其余部分保持不变。传统的键值关联记忆可用于此目的，类似于在记忆增强网络的背景下提出的内容（Bordes 等人，2015；Sukhbaatar 等人，2015；Miller 等人，2016）和实体网络（Henaff 等人，2017 年）。

Actor 模块的作用有三个：

给定世界模型对 Mode-2 动作的预测，推断出最小化成本的最优动作序列。
2. 产生代表代理不知道的世界状态部分的潜在变量的多种配置。
3. 训练产生模式 1 行动的策略网络。

动作和潜在变量之间没有概念上的区别。 参与者必须探索两组变量的配置。对于潜在变量，必须探索配置以在不确定性下进行规划。对于动作变量配置，必须探索以产生最小化成本的最优配置。在对抗性场景（例如游戏）中，必须探索潜在配置以最大化成本。实际上，actor 扮演着优化者和探索者的角色。

当世界模型或成本表现不佳时，基于梯度的最佳动作序列搜索可能会失败。在这种情况下，可以应用另一种搜索/规划方法。如果动作空间是离散的或可以离散的，可以使用动态规划方法或近似动态规划方法，例如波束搜索或蒙特卡洛树搜索。实际上，在最佳控制、机器人或“经典”人工智能的背景下开发的任何规划方法都可以在这种情况下使用。

一旦通过规划/推理/优化过程获得最佳动作序列，就可以将动作作为目标来训练策略网络。策略网络随后可用于快速行动，或仅用于在优化阶段之前将建议的行动序列初始化为良好的起点。可以针对多个任务训练多个策略网络。

配置器是代理的主要控制器。它从所有其他模块获取输入并调整它们的参数和连接图。调制可以路由信号、激活子网络、集中注意力等。在预测器和感知编码器的上层是变换器块的场景下，配置器输出可能构成这些变换器块的额外输入令牌，从而调制它们的连接图和函数。

配置器模块之所以必要，有两个原因：硬件重用和知识共享。能够为多个任务重用相同的电路有一个明显的优势，特别是如果任务可以按顺序完成，并且资源量（例如参数内存）是有限的。但还有另一个优势：知识重用。一个合理的假设是，针对给定环境训练的世界模型可以用于一系列不同的任务，只需进行微小的更改。可以想象一种环境的“通用”世界模型，其中一小部分参数由配置器针对手头的任务进行调制。这将比为每个技能使用单独的世界模型更有效地提高数据效率和计算效率。缺点是代理一次只能完成一项任务。

世界模型的预测器部分必须能够根据手头的任务执行广泛的功能。对于在低抽象级别执行短期预测的预测器，配置可能意味着动态信号路由。在低级视网膜主题特征阵列表示中，预测可以简化为单个特征向量的局部位移，伴随着这些向量的小变换。这可以有利地用本地选通/路由电路来实现。对于更高抽象级别的长期预测，最好使用 Transformer 架构。 Transformer 块特别适用于对象交互的基于对象的推理。原因是变压器块的功能与置换等价。由于该属性，无需担心将哪个对象分配给哪个输入标记：结果将与输入分配相同且一致。基于模型的机器人技术的最新工作建议使用在整个轨迹级别运行的变压器，对注意力电路施加约束以配置预测器以进行因果预测或其他任务（Janner 等人，2021 年）。

当前的提议没有规定参与者推断潜在变量实例和最佳动作序列的特定方式。虽然所有模块的可微性原则上可以使用基于梯度的优化来推断最佳动作序列，但优化问题在实践中可能非常困难。特别是当动作空间是离散的，或者从动作到代价的函数非常不平滑时，基于梯度的方法可能无效，需要使用其他（无梯度）搜索方法（动态规划、置信传播、MCTS 、SAT 等）。在模式 2 规划/推理中实例化潜在变量的多个配置可能需要本提案中未描述的附加机制。人类似乎被赋予了通过对感知的替代解释自发循环的能力，正如内克尔立方体和其他具有几种同样合理解释的视觉错觉所证明的那样。在本模型的上下文中，模糊感知的不同解释可以由潜在变量的不同值来表示。虽然人们可以想象一些探索性机制来系统地探索可能的潜在变量值的空间，但这里没有描述这种机制。

短期记忆的精确结构和功能以及它如何用于表示对世界状态的信念也有些模糊。最初的记忆网络系统及其后续系统包含这样的想法，即神经网络可以使用联想记忆作为工作记忆来存储和检索关于计算周期之间世界状态的信念（Bordes 等人，2015；Sukhbaatar 等人，2015)。

总结

这篇论文很宏大而且很复杂的架构，提出了一个可能能实现的“更像人”的人工智能架构。从认知科学的角度分析现在主流人工智能派系都有什么问题，个人认为目前的整个人工智能体系太依赖概率了，某种意义上一个预测一个东西的概率是需要学习非常多东西且效率极低、近乎没有自主学习能力的一种东西。比如现在的 Bert 之类的模型，必须做 fine-tuning 或者 prompt 才能改善下游任务。

人工智能方向肯定会衍生出分层且自学习的结构的，可能更浅的层次是能够通过非概率的方式更快得到一个答案有点类似人类的直觉。且整个系统会自动学习输入进来的知识，自动归纳总结存储起来。

简单聊聊因果推断

Qin — Wed, 18 Jan 2023 07:09:17 GMT

简单聊聊因果推断这个事。

Thoughtworks 曾与一家国际知名药企合作，解决患者用药依从性低(从药物治疗的角度，药物依从性是指患者对药物治疗方案的执行程度)的问题。

如果仅着眼于患者本身，其不持续用药，也许是忘了，或者动力不足，看似可以简单归因并立刻着手解决。但当我们打开这个问题，置身于整个系统，会发现影响患者持续用药的因素涉及方方面面。

除患者个人层面，涉及到的利益相关方包含患者、医院、医生、制药机构、医药代理、甚至政府机构。其中影响因素可能有医生对患者的影响、医疗保险的报销规定、社区医疗资源分布、甚至家人的陪伴等等。多层因素之间亦互相牵连，相互影响。

最终发现，从患者主观能动性出发所能提升的用药依从性大概只占小部分。而医生对患者的支持，以及医保的报销比例，或许更大程度决定了患者是否持续用药。

一个原本以为从患者角度的动机或者习惯问题，在深入研讨后会发现它是一个更大的系统问题，而非个人动机的问题。

这正是我们今天的现状，我们所面临的大部分问题是一团缠绕的纱线。因此，为了避免想当然从某个点随意牵扯一条线而造成“死结”，我们需要花更多的时间与精力，来解开这团纱线。

D o n e l l a M e a d o w s 在《系统之美》中提到：“厘清影响问题的各个元素并理解其间的关系，我们才能更好找出所谓问题的杠杆解。” 。我们在解决问题时需要关注问题所处的上下文、系统关系，以及各个元素之间的内部因果与联系。复杂问题之间互为因果、环环嵌套，因而有时难以分析和筛选、聚焦于某个单一问题而创造的方案，往往只是局部优化。为此我们需要分析每个问题的产生原因和影响结果，找到某个问题所关联的上下游问题。

贝叶斯提出的逆概率定理，认为概率现象也是主观信念程度的变化和更新，让概率也失去了客观性；统计学创始人高尔顿和学生皮尔逊用相关关系取代了因果关系。至此，基于统计的科学研究壮大发展，因果效应基于统计计量的研究开启。

计量经济学家格兰杰基于概率形式给出因果检测公式，论证事件发生是否存在先后的显著性。但是只能判断发生事件在时间上的先后是否有统计显著性，并不能判断因果。

但相关性并不能准确的说明因果关系。相关性并不能取代因果性，无法处理具有共同混杂因子的变量关系，统计数据常因果颠倒（无方向性）、造就伪相关、对数据要求也很高(iid)、泛化性、鲁棒性都很差。

那么如何分析因果关系以及将其用在实践中就需要借助一些更高效的工具和手段。

我们首先来定义下什么是因果，休谟在《人类理解研究》中提到：“我们可以给一个因下定义说，它是先行于、接近于另一个对象的一个对象，而且在这里，凡与前一个对象类似的一切对象都和与后的一个对象类似的那些对象处在类似的先行关系或者接近关系中。或者，换言之，假如没有前一个对象，那么后一个对象就不可能存在。”（最后那句话也是反事实的定义。）

在图灵奖得主朱迪尔·珀尔（Pearl）在 2000 年的论文《 Causality: Models, Reasoning, and inference》中提出了因果阶梯论（Pearl Causal Hierarchy）：

他认为，因果推断有三个层级，

最低的第一层级是相关（association），涉及的是预测，而不涉及因果关系，只讨论变量之间的关联，比如公鸡打鸣与日出之间的相关关系。

第二层级是干预（intervention），涉及因果性，比如吸烟与患肺癌之间的因果关系。

第三层级是反事实（Counterfactuals），涉及的是回答诸如“如果情况不是现在这样，可能会发生什么”的问题。

在论文中也提到了我们常遇到的五个问题：

给定的疗法在治疗某种疾病上的有效性？
是新的税收优惠导致了销量上升吗？
每年的医疗费用上升是由于肥胖症人数的增多吗？
招聘记录可以证明雇主的性别歧视罪吗？
我应该放弃我的工作吗？

我们常说相关性不等于因果性，但这些问题的一般特征是它们关心的都是什么东西带来的效果，但我们并没有很好的办法和科学的办法能够表达这样的问题，以及确保我们的结论不出问题。现实世界中绝大多数东西我们都很难找到准确因和果，往往都是复杂的、环环相扣的、互相影响的。

耶日• 内曼在 1923 年发表了《On the Applications of the Theory of Probability to Agricultural Experiments》他提出了用于因果推断的“潜在结果”（potential outcomes）的数学模型，并将它和统计推断结合起来。

一个或多个处理作用在个体上产生的预期效果我们称之为潜在结果 (Potential outcome)。之所以称为潜在结果是因为在一个个体上最终只有一个结果会出现并被观察到，也就是和个体所接受的处理相对应的那个结果。另外的潜在结果是观察不到的，因为它们所对应的处理并没有实际作用在该个体上。因果效果的定义依赖于潜在结果，但是它并不依赖于哪一个潜在结果实际发生。

Rubin（1974）重新独立地提出了潜在结果的概念，提出了鲁宾因果模型，将潜在结果框架扩展为在观察性和实验性研究中思考因果关系的一般框架。

鲁宾因果模型是基于潜在结果的想法。例如，如果一个人上过大学，他在 40 岁时会有特定的收入，而如果他没有上过大学，他在 40 岁时会有不同的收入。为了衡量这个人上大学的因果效应，我们需要比较同一个人在两种不同的未来中的结果。由于不可能同时看到两种潜在结果，因此总是缺少其中一种潜在结果。这种困境就是“因果推理的基本问题”。

由于因果推理的根本问题，无法直接观察到单元级别的因果效应。然而，随机实验允许估计人口水平的因果效应。随机实验将人们随机分配到对照组：大学或非大学。由于这种随机分配，各组（平均）相等，40 岁时的收入差异可归因于大学分配，因为这是各组之间的唯一差异。然后可以通过计算处理（上大学）和对照（非上大学）样本之间的平均值差异来获得平均因果效应（也称为平均处理效应）的估计值。

然而，在许多情况下，由于伦理或实际问题，随机实验是不可能的。在这种情况下，存在非随机分配机制。上大学的例子就是这种情况：人们不是随机分配上大学的。相反，人们可能会根据他们的经济状况、父母的教育等来选择上大学。已经开发了许多用于因果推断的统计方法，例如倾向得分匹配。这些方法试图通过寻找类似于处理单元的控制单元来纠正分配机制。

Pearl 和 Mackenzie 在《The Causal Revolution》中提出了一种因果结构模型——SCM。SCM 由三部分构成：

图模型（Graphical models）
结构化方程（Structural equations）
反事实和介入式逻辑（Counterfactual and interventional logic）

图模型最早是由遗传学家 Sewell Wright 在 1918 年左右提出的，最初是为了推断决定豚鼠出生体重的因素的相对重要性。他利用这种结构发展了路径分析的方法，这种技术通常用于分层和复杂过程的因果推断任务，如表型遗传。

他在 1921年的论文《Correlation and Causation》就有画因果图，描述各种遗传因素与豚鼠出生体重之间关系的结构性因果模型的代表。Wright的路径追踪规则定义了一套使用一组关联关系的规则，以生成一个因果图。因果图也可以被认为是结构因果模型的 DAG 表示方法。

抽烟的人容易导致肺癌，抽烟的人也容易出现黄手指。因为抽烟这个“共因”，“黄手指”和“肺癌”产生了关联，我们不难发现，手指黄的人很多都容易患肺癌。但是我们不能说，黄手指会导致肺癌，它俩并没有因果关系。这个“共因”也被称之为“混杂因子”（confounder）。在这个例子中，“抽烟”就是“黄手指”和“肺癌”的混杂因子，它让“黄手指”和“肺癌”出现了一种“伪相关”，这种伪相关也被称为“偏倚”（bias）。，因果推理的一大目标就是尽量消除混杂带来的偏倚（也就是那些非因果的关联关系），找出真正的因果关系。

在因果关联领域有一个著名的法则，被称为d-分离法则。d-分离的全称是有向分离（directional separation），是一种判断变量是否条件独立的方法。

我们可以通过后门准则来消除混杂因子的影响。如果我们有足够的数据能够将所有A和 Y 之间的后门路径全部阻断，那么我们就可以识别（identify）A和 Y 之间的因果关系。

简单来说，混杂（confounding）就是因果变量之间的共因。而混杂因子（confounder）就是能够阻断因果变量之间所有后门路径的变量（可能混杂因子不止一个）。这里要特别说明的是，混杂因子的概念是建立在因果图结构之上的，必须要指定因果图的结构，混杂因子才有意义。在一个复杂的因果图中，某个变量可能阻断了某两个变量之间的所有后门路径，因此它是某两个变量的混杂因子，但它对另一个路径来说可能并不是混杂因子。因此我们纠缠于谁是混杂因子没有实际意义，有意义的是，以哪个变量为条件可以消除这条路径上的混杂。

让我们回到现实的场景中。

传统的机器学习是预测工作，拟合用户的特征和目标 Y 值之间的关系，但无法建模实验前后对业务目标带来的收益。而因果推断可以拆分实验变量 T 和协变量 X（用户特征），来构建不同用户在不同实验下产生的不同行为的因果模型。

我们可以通过公式看看。下面是一个经典的贝叶斯公式：

$$P(Y \mid X)=\frac{P(X, Y)}{P(X)}=\frac{P(X \mid Y) P(Y)}{P(X)} \quad P\left(X_{k} \mid Y=1\right)=\frac{P\left(X_{k}\right) P\left(Y=1 \mid X_{k}\right)}{P(Y=1)}$$

当已知结果发生了（Y=1），相分析引起结果的原因 $X_k$。通过贝叶斯公式发现 $P(X_k)$ 也就是 $X_k$的概率越高，$Y$ 的概率越高，但这个概率高低是非因果的。

下面是 SCM 因果推断的公式：

$$P(Y \mid d o(X))=\sum_{u} P(Y \mid X, u) P(u)$$

我们可以发现在控制了 u 的情况下，切断了 u -> x 的后门路径，那就可以通过干预某些有意义的变量来评估因果效应。现实中常见的场景是在有某些约束的情况下，如何给目标客户分配合适的权益，从而达到业务目标最大化。

我们可以假设我们是一个电商网站，我们需要通过优惠券刺激用户消费。那么在总成本不变下发什么样的折扣券给到什么样的用户效果最好呢？

我们可以将不同的用户进行划分，然后对不同用户群体做 AB Test 发放不同的优惠券，从而来观测哪些用户群体的适合哪些优惠券，效果更加好。只预测收到优惠券后产生的借款。无法区别对活动更敏感人群和自然转化人群。但通过Uplift 的增量进行建模，即优惠券而产生的收益，就能够精准找到对活动更敏感人群。

Uplift models 用于预测一个 treatment 的增量反馈价值。举个例子来说，假如我们想知道对一个用户展现一个广告的价值，通常的模型只能告诉我们用户在展示广告后的购买意愿很强，但事实很有可能是他们在被展示广告之前就已经很想购买了。Uplift models 聚焦于用户被展示广告后购买意愿的增量。

在一个理想的世界中我们能够将每一个个体根据类型划分，然后找到 “persuadables” 的那一波人，也就是投资汇报率最高的那一波人。对于 “sleeping dogs” 的那一波人肯定不是营销的目标人群。但是在现实生活中我们却没有办法准确的判断一个人是属于哪种类型，因为我们不可能对同一个用户 treated 或者 notreated。但是借助统计和机器学习的知识，我们就可以得到相似的用户大致会怎么反应。这就是 uplift 模型的核心，每一个用户会得到一个位于 -1 到 1 的 lift score，用于指导用户人群的选择。

用 uplift 模型可以辅助你找到更合适的用户进行实验。而在推荐上的具体工作像是《Causal intervention for leveraging popularity bias in recommendation》这篇论文也详解得很好，里面详细分析了分析如何使用因果推断来消除流行度偏差。

总结一下，因果推断非常适合解决某个场景下选择某一批用户用某个手段得到某个收益的互联网场景，但这个领域在 AI 和互联网具体场景下还是很原始，有待发展。还有像因果发现、因果强化学习、因果推断、与深度学习结合等等子方向还在蓬勃发展中。个人来说还是很相信因果推断会是个大势，可能将来会大量与机器学习、深度学习融合。在现实中干预一个目标的已知因子、混杂因子是非常非常多的，如何找到合适的因子也会成为一个大难题。

QIN

2024 年 LLM 推理成本下降 10 倍？

抖音：Interest Clock 论文解读

How To Select The Right Technology Solution

《金字塔原理》读书笔记

金字塔思考和写作的意义

构建金字塔

自上而下

自下而上

界定问题

分析问题

有形机构

寻找因果关系

归类分组

推理问题的方法

演绎推理

归纳推理

外展推理

人、钱、事

软件架构设计指导

架构设计的目的

架构设计师的主要职责

核心问题

核心思维

架构设计应当占据多少时间

设计原则

服务拆分原则

了解需求

建立领域模型

确定架构模式

架构设计研讨会

架构设计图画法

第1级

第2级

第3级

第4级

使用C4模型的6个注意点

实践中常见的6个误区

架构决策记录

状态

架构设计文档模板

评估架构设计方案可以组建评估会，准备好打分表格。

DDD 设计方法论

大富翁的经济学原理

诞生的背景

进步与贫困

垄断与反垄断

土地与财富

总结

马尔科夫（马尔可夫）决策过程浅析

马尔科夫过程

马尔科夫奖励过程

值函数

状态值函数

动作值函数

马尔科夫决策过程

OpenAGI: When LLM Meets Domain Experts 浅析

背景

主要工作

结论

Cassandra 浅析

简介

相关研究

系统架构

本地持久化

数据分区

一致性哈希数据分区

物理节点与多个令牌

多主复制

数据版本

复制副本同步

可调整的一致性

故障检测

总结

Disruptor 高性能队列原理浅析

介绍

并发问题

内存屏障和缓存问题

队列的问题

Disruptor 解决思路