nlp - 这个神经网络模型是否存在？

Question

我正在寻找具有特定特征的神经网络模型。该模型可能不存在...

我需要一个不像传统的人工神经网络那样使用“层”的网络。相反，我想要(我相信会是)一个更生物学的模型。

该模型将容纳大量相互连接的神经元，如下图所示。少数神经元(位于图的底部)将接收输入信号，并且级联效应将导致连续的连接神经元可能发射，具体取决于信号强度和连接权重。这并不是什么新鲜事物，但是，没有显式层……只是越来越远的间接连接。

如您所见，我还将网络划分为多个部分(圆圈)。每个圆圈代表一个语义域(一种语言学概念)，它是围绕一个概念的核心信息。本质上，语义域是一个概念。

与不同节的节点之间的连接相比，节中的节点之间的连接具有更高的权重。因此，“汽车”的节点彼此之间的连接要比将“英语”与“汽车”连接的节点更多。因此，当单个部分中的神经元点火(被激活)时，整个(或大部分)部分也可能被激活。

总之，我需要将输出模式用作进一步输出的输入，依此类推。 我所追求的是级联效果。

我希望这是有道理的。请在需要时进行澄清。

有没有合适的模型可以对我已经描述的模型进行建模？

Answer 1

您的神经网络类似于使用进化算法(例如遗传算法)创建的神经网络。

有关详细信息，请参见以下文章。

Han - Evolutionary neural networks for anomaly detection based on the behavior of a program

WHITLEY - Genetic Algorithms and Neural Networks

对于这种类型的神经网络的总结。神经元及其连接是使用进化技术创建的。因此，它们没有严格的分层方法。汉斯使用以下技术:

“基因操作:

交叉运算符通过在两个神经网络之间交换局部部分来产生新的后代。它随机选择两个不同的神经网络并选择一个隐藏节点作为枢轴点，然后根据所选的枢轴点交换连接链接和相应的权重。

变异运算符更改连接链接和随机选择的神经网络的相应权重。它执行以下两个操作之一:添加新连接或删除现有连接。

变异算子随机选择一个神经网络的两个节点。
如果它们之间没有连接，它将以随机权重连接两个节点。
否则，它将删除连接链接和重量信息。
”

下图来自惠特利的文章。

@ARTICLE{Han2005Evolutionary,
  author = {Sang-Jun Han and Sung-Bae Cho},
  title = {Evolutionary neural networks for anomaly detection based on the behavior
of a program},
  journal = {Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions
on},
  year = {2005},
  volume = {36},
  pages = {559 -570},
  number = {3},
  month = {june },

}

@article{whitley1995genetic,
  title={Genetic algorithms and neural networks},
  author={Whitley, D.},
  journal={Genetic algorithms in engineering and computer science},
  pages={203--216},
  year={1995},
  publisher={Citeseer}
}