原创StephenOrnes神经现实收录于合集#深度
Deep-diving个#神经科学88个
理解大脑如何组织和访问空间信息，例如“我们在哪里”、“拐角处有什么”、“如何到达那里”，仍是一项巨大的挑战。该过程涉及从上百亿个神经元中调取一系列的记忆及存储其中的空间数据，而每个神经元又连接着上千个其他神经元。神经科学家已经确认了空间认知的关键元素，例如映射位置的网格细胞[1]。然而，要想对此进行更深入的研究，事情就变得棘手了：研究人员想要观察基于位置的有关图像、声音、和味道的记忆是如何流动和互相连接的，却不可能通过取出并研究人的大脑灰质切片来达此目的。
人工智能为此提供了另一条出路。多年来，神经科学家们利用了多种类型的神经网络（神经网络为大多数深度学习的应用提供了动力）来模拟大脑中神经元的放电。于近期的研究中，研究人员发现海马体作为一个对记忆至关重要的脑部结构其实是一种变相的特殊神经网络，这种神经网络被称为Transformer[2]。他们的新模型以一种类似大脑内部运作的方式来追踪空间信息，并且已经取得了显著成效。
-KristinaArmitage-
同时就职于斯坦福大学和牛津大学蒂姆贝伦斯（TimBehrens）实验室的认知神经科学家詹姆斯惠廷顿（JamesWhittington）说：“现在我们知道了，这些大脑模型与Transformer模型相当，这就意味着我们的模型表现得更好并且更容易训练。”
惠廷顿及同事所做的研究提示我们，Transformer可以极大地促进神经网络模型模拟网格细胞及大脑其他部分进行运算的能力。惠廷顿表示，这些模型可以推动我们对人工神经网络的工作原理、甚至对大脑运算机制的理解。
在谷歌大脑（GoogleBrain）研究Transformer模型的计算机科学家大卫哈（DavidHa）表示：“我们并不是在尝试重新建造一个大脑，但我们能否创造出足以复制大脑所作所为的机制呢？”
Transformers在年作为一种处理语言的新型AI模型首次出现。这一模型是BERT[3]和GPT-3等引人注目的能够补全句子的程序中的秘密武器，而这些程序可以生成以假乱真的歌词、创作莎士比亚十四行诗并模仿客服代表。
Transformer的工作原理是一种被称为“自注意力”（self-attention）的机制，其中每个输入，不管是一个单词、一个像素、还是序列中的一个数字，总是与其余每个输入相连。而别的神经网络仅将输入与某些特定的输入相连。虽然Transformers最初是为语言任务而设计的，但后来它们在别的任务（比如图像分类和如今的大脑建模）中都表现得相当出色。
-AvalonNuovo-
在年，由奥地利林茨大学（JohannesKeplerUniversityLinz）的计算机科学家塞普?霍克瑞特（SeppHochreiter）带领的团队用Transformer改造了一个强大的、存在已久的记忆检索模型。这个被改造的模型名叫Hopfield网络（Hopfieldnetwork），在40年前由普林斯顿的物理学家约翰霍普菲尔德（JohnHopfield）首次提出。这些网络遵循一条通则：同时活跃的神经元在彼此之间建立更牢固的连接。
霍克瑞特和他的合作者留意到研究人员一直在寻找更好的记忆检索模型，在此之后，他们发现了一类新型Hopfield网络[4]检索记忆的方式和Transformers执行注意力的方式之间的联系。这些新型Hopfield网络由MIT-IBM沃森人工智能实验室（MIT-IBMWatsonAILab）的霍普菲尔德和德米特里克罗托夫（DmitryKrotov）开发。与标准的Hopfield网络相比，新型Hopfield网络由于有更高效的连接而可以存储和检索更多的记忆。霍克瑞特的团队通过添加一个类似Transformers里注意力机制的规则来升级这些网络。
之后，在今年早些时候[5]，惠廷顿和贝伦斯进一步改进了这种方法。他们修改了这些Transformer，使得模型不再将记忆视为线性序列（就像句子里的一串单词那样），而是将它们编码为高维空间中的坐标。研究人员口中的这一“扭转”进一步提升了模型在神经科学任务中的表现。他们还表明，该模型的数学基础和神经科学家在功能性磁共振成像（fMRI）扫描中观测到的网格细胞放电模式的模型一致。
贝伦斯（左）和惠廷顿（右）帮助证明了我们大脑中的结构在数学上与“Transformer”相似。
—
(left)LouiseBold;TongyunShang
伦敦大学学院的神经科学家卡斯维尔?巴里（CaswellBarry）说道：“网格细胞有这种令人激动的、美丽的、规则的结构，并具有那些不太可能随机产生的、醒目的放电模式。”上述的新研究则向我们展示了Transformer如何精确地复刻这些在海马体观测到的模式。巴里说：“他们认识到，Transformer可以根据以前的状态及其移动情况确定位置，而这正是传统的网格细胞模型描述的定位方式。”
近期的其他研究表明，Transformer也可以促进我们对大脑中其他功能的理解。年，麻省理工学院的计算神经科学家马丁施林普夫（MartinSchrimpf）分析了43例不同种类的神经网络模型[6]，来观察它们在预测由fMRI和脑皮层电图报告的人类神经活动测量结果上表现如何。他发现Transformer作为目前领先的、最先进的神经网络，几乎可以预测神经成像报告的所有变化。
此外，哈和计算机科学家同事YujinTang最近设计了一个模型[7]，该模型可以通过Transformer有意地以一种随机、无序的方式发送大量数据，来模拟人体向大脑传递感觉信号。他们的Transformer可以像我们的大脑一样成功处理无序的信息流。
YujinTang表示：“神经网络只能硬性地接收特定的输入。”但在现实生活中，数据集通常变幻莫测，而大多数的AI模型无法据此调整。“我们想要试验一种具有快速适应性的架构。”
论文题目：
TheSensoryNeuronasaTransformer
ermutation-InvariantNeuralNetworksforReinforcementLearning
DOI：
