machine-learning - 关于马尔可夫链的困惑

Question

马尔可夫链方法和条件概率这两件事有关系吗？如果他们碰巧有关联；请解释一下它们之间的关系。

Answer 1

马尔可夫链和条件概率尝试回答不同的问题。然而它们在某种意义上是相关的。

在马尔可夫链中，我们研究具有状态和状态转换的系统。 事件触发状态转换，事件的概率可能取决于系统所处的状态 - 这就是条件概率发挥作用的地方。

让我们先看一下以下示例，以了解条件概率:

条件概率可以定义为: P(A|B) := P( A AND B )/P(B)

换句话来说:假设事件B已经发生，事件A发生的概率有多大？

示例:盒子里的球:

让我们在一个盒子里放(R)ed、(B)lue、(L)ight和(H)eavy球。 球可以是重的或轻的，也可以是红色的或蓝色的。

    Balls  | Light | Heavy | Total
   ------------------------------------
   Red     | 10   |  20    |  30
   Blue    | 30   |  40    |  70
   Total   | 40   |  60    |  100

选择 P(X) 的概率，其中 X 表示 (R)ed、(B)lue、(H)eavy 或 (L)ight、Red 和 Light(RL) Red 和 Heavy(RH) 等。 ..如下:

    Event |  N | Total | P     
   ----------------------------
      R   | 30 |  100  | 0.3   
      B   | 70 |  100  | 0.7  
      L   | 40 |  100  | 0.4
      H   | 60 |  100  | 0.6
      RL  | 10 |  100  | 0.1
      RH  | 20 |  100  | 0.2
      BL  | 30 |  100  | 0.3
      BH  | 40 |  100  | 0.4

如果我们遇到如下问题，我们就会讨论条件概率:

如果我们已经选择了一个重球，那么获得蓝色球的概率是多少？

P(B|H) = P(B 和 H)/P(H) = #BH/#H = 40/60 = 2/3

马尔可夫链有点不同:

对于马尔可夫链的示例，我们需要一个稍微不同的实验。

想象一下有两个盒子的设置；一种带有(L)轻球，一种带有(H)重球。

实验:

• 挑选 N 个球，然后将它们放回盒子中。

• 从方框 (L) 开始

• 如果选择了 (B) 球，则从 (H) 重箱中选择一个球。

• 如果选择了(右)球，则从(左)右盒子中选择一个球。

问题:第 n 个球是重球的可能性有多大？

在处理马尔可夫链时，我们首先尝试构建一个状态机: 状态(L)表示您正在从装有光球的盒子中挑选 选球的结果可能会导致过渡到相同状态或不同状态。 转移将表示为 {R,B} 及其概率在括号中。

            +-----+    R(2/4)           +-----+
            |     |<------------------- |     |
  .-------->|     |                     |     | <------.
  \R(1/4)   |  L  |    B(3/4)           |  H  |       /  B(4/6)
   \--------|     | ------------------->|     | -----/
            +-----+                     +-----+

现在我们可以将状态表示为向量，并将所有转换及其概率表示为矩阵。经过一步(N=1)后，我们将处于以下状态:

          ^N
|1/4  2/6|    |1|    |1/4|    | L |
|        | x  | |  = |   |  = |   |
|3/4  4/6|    |0|    |3/4|    | H |

因此处于状态 L 的可能性是 1/4，状态 H 是 3/4。 如果 N = 1000，我们只需重新应用转换矩阵 1000 次， 这与将矩阵求 1000 次方并应用于状态向量相同。 1000 步后，处于状态 L 的概率约为 0.31，处于状态 H 的概率约为 0.69。

注释:

• 根据设计，矩阵的条目是第一个问题的条件概率。

• 矩阵的 n 次方收敛，因此在无限步后处于某种状态的概率。