< 上一个 | 内容 | 下一个 >

10.13 基于结构熵的推理演算

给定信息系统 𝐴,即 𝐴 是一个不可约非负矩阵。假设 𝑇 是按结构熵极小化原理求解的一个 𝐴 的编码树。


定义 10.19(模块的结构熵)

1)对于 𝛼 ∈ 𝑇,定义模块 𝜶 的结构熵为:

𝑇(𝐴; 𝛼) = −𝑝𝛼

log 𝑉𝛼 .

image

𝑉𝛼


2)对于 𝛼 ∈ 𝑇,定义层谱抽象 [𝜶, 𝝀) 的结构熵为:

𝑇(𝐴; [𝛼, 𝜆)) = − ∑ 𝑝𝛽

𝑉𝛽

image

log .

𝑉𝛽

𝜆⊂𝛽⊆𝛼

3)给定 𝑇 的子集合 𝑀 ⊂ 𝑇,定义模块 𝑴 的结构熵为:

𝑇(𝐴; 𝑀) = − ∑ 𝑝𝛼

𝛼∈𝑀

𝛼≠𝜆

log 𝑉𝛼

image

𝑉𝛼


= − ∫ 𝑝𝛼

𝑀

log 𝑉𝛼 .

image

𝑉𝛼


定义 10.20(条件结构熵)给定 𝑀, 𝑁 ⊂ 𝑇,定义在条件 𝑴 𝑵

的结构熵为:

𝑇(𝐴; 𝑁|𝑀) = − ∑ 𝑝𝛼

log 𝑉𝛼

image

𝑉𝛼

𝛼∈𝑁\𝑀

𝛼≠𝜆


= − ∫ 𝑝𝛼

𝑁\𝑀


log 𝑉𝛼 .

image

𝑉𝛼


定义 10.21(推理的结构熵极小原理)给定 𝑇 的子集合 𝑀 ⊂ 𝑇,求 𝑁 = [𝛾, 𝜆),对某叶子节点 𝛾 ∈ 𝑇,使得 𝑇(𝐴; 𝑁|𝑀)极小,即:

𝑁 = 𝑎𝑟𝑔𝑚𝑖𝑛{ℋ𝑇(𝐴; 𝑁|𝑀)},

𝑁 是从 𝜆 到某个叶子的路径上的所有节点构成的集合。


结构熵极小化原理使得我们能推断在已知 𝑀 中模块的条件下找到最有可能的一个个体,即不确定性最小的个体。

类似地我们可以提出在已知一些模块的条件下推断出最有可能的若干个个体。


定义 10.22(推理的结构熵极大化原理)给定 𝑀 ⊂ 𝑇,求解 𝑁 ≠

𝑀 使得𝑁 = [𝛾, 𝜆),对某叶子节点 𝛾 ∈ 𝑇,使得 𝑇(𝐴; 𝑁|𝑀)最大。


推理的结构熵极大化原理允许我们在已知一些模块的条件下推断出不确定性最大,也就是最不稳定的个体。同样原理,可以求出多个不确定性最大的个体。

在给定条件下,熵最小,即最有可能;熵最大,即最不可能,或最不稳定的对象,这两种对象在不同的应用场景中都是有意义的。

基于结构熵的推理是在编码树上的推理,编码树是优化的层谱抽象结构,因此,基于编码树的推理是跨越抽象层次的推理和同一抽象


层次推理的结合,从而是直觉推理和逻辑推理相结合的推理。这就数学地实现了直觉推理和逻辑推理的结合,建立了推理的数学理论。