起源：DeepTech深科技在刚从前的呆板进修顶会——神经信息处置体系年夜会（NeurIPS，Neural Information Processing Systems）上，火出圈的既有 OpenAI 前首席迷信家伊尔亚·苏茨克维（Ilya Sutskever）的“预练习停止”舆论，也有美国纽约年夜学教学 Kyunghyun Cho 的会后感触文章《我在 NeurIPS’24 上感触到了焦急跟挫败》。而一名来自德国汉堡的 00 后菲利克斯·彼得森（Felix Petersen）也小小地出圈了一把。从前，彼得森在德国洪堡文理中学念书，厥后在德国康斯坦茨年夜学读完本科跟博士。17 岁时，他开辟出一种 X 射线激光器，一度曾惹起业界存眷，并失掉了德国媒体的报道。刚到年夜学时，他不只已能领导他人，还治理着德国洪堡体育馆的呆板人小组。图 | 2017 年德国媒体对菲利克斯·彼得森（Felix Petersen）的报道（起源：SÜDKURIER）图 | 19 岁时的彼得森（起源：彼得森团体主页）现在，他在美国斯坦福年夜学做博士后，师从于该校的斯特凡诺·埃尔蒙（Stefano Ermon）教学。在本次 NeurIPS 上，彼得森展现了本人跟导师计划的由逻辑门构成的神经收集（下称“逻辑门收集”）。图 | 彼得近照森（起源：https://petersen.ai/）对于这一结果的相干论文已以《卷积可微分逻辑门收集》（Convolutional Differentiable Logic Gate Networks）为题发在 arXiv 上 [1]。图 | 相干论文 （起源：arXiv）让逻辑门收集变得“松懈”那么，彼得森为何要研发逻辑门收集？这要从 GPT-4 跟 Stable Diffusion 等年夜模子提及，在这些年夜模子中神经收集是经由过程将感知器衔接在一同而构建的，感知器是对人类年夜脑神经元的一种高度简化模仿。只管感知器十分强盛，然而它们也耗费了大批能量，甚至于微软曾经告竣了一项协定要从新启动三里岛核电站，以便为其人工智能提高供给能源。局部成绩在于感知器只是软件层面的形象。在图形处置器（GPU，Graphics Processing Unit）上运转感知器收集的时间，须要将这一收集转换为硬件言语，而这须要时光跟能量。然而，直接应用硬件来构建收集则能省去良多本钱。彼得森以为，与支撑年夜少数古代人工智能体系的传统神经收集比拟，直接存于盘算机芯片硬件中的神经收集能够更快地辨认图像，而且耗费的能量更少。将来某一天，直接存于盘算机芯片硬件中的神经收集乃至能够直接内置到智妙手机跟其余装备的芯片中，从而年夜年夜增加向效劳器发送数据跟从效劳器发送数据的需要。那么，该怎么实现上述目的？如前所述，彼得森计划了由逻辑门构成的神经收集。逻辑门，是盘算机芯片的基础构建模块。逻辑门由晶体管构成，它能够接收两个比特（1 或 0）来作为输入，并能依据特定晶体管形式划定的规矩输出一个比特。就像感知器一样，逻辑门能够链接成收集。而运转逻辑门收集堪称既廉价、又疾速、又简略。彼得森在 NeurIPS 的报告中表现，逻辑门收集的能耗比感知器收集低数十万倍。（起源：arXiv）现在，彼得森并不锐意去寻觅构建节强人工智能收集的方式。他是基于对“可微分松懈（differentiable relaxations）”的兴致，才开端研讨逻辑门。可微分松懈，指的是将某类数学识题酿成微积分能够处理的情势。让深度进修反动成为可能的反向传布（练习）算法，是利用可微分松懈方式的一个经典案例。然而，因为反向传布是基于微积分而构建的，因而并不克不及直接用于练习逻辑门收集。逻辑门只能用 0 跟 1，而微积分须要失掉 0 跟 1 之间的全部旁边值。为此，彼得森计划了一种方式：创立相似于应用 0 跟应用 1 的逻辑门、同时也能给出旁边值谜底的函数，让逻辑门收集变得“松懈”，以便可能停止反向传布。经由过程练习这些门运转模仿收集，能够将逻辑门收集转换回能在盘算机硬件中实现的货色。这种方式的一个挑衅是，“松懈”的收集很难被练习。收集中的每个节点终极都有可能成为 16 个差别逻辑门中的任何一个，与每个逻辑门相干的 16 种概率必需被追踪被记载并一直被调剂。而这须要大批的时光跟能量。彼得森说，比拟在 GPU 上练习传统神经收集，练习他所打造的逻辑门收集在时光上要多出数百倍。在无奈累赘数十万 GPU 的年夜学里，GPU 在时光调配收纳柜很难周转得开。因而，彼得森与配合者开辟了逻辑门收集。只管开辟进程无比艰苦，然而一旦收集经由练习，它就会变得越来越廉价。二进制神经收集，则是别的一种已有的超高效收集，在这一收集中须要应用只能处置二进制值的简化感知器。为了验证逻辑门收集的后果，彼得森将它与二进制神经收集停止比拟。在做对照时他应用了 CIFAR-10 数据集，该数据集包含从“田鸡”到“卡车”等 10 种差别种别的低辨别率图片。他让逻辑门收集跟二进制神经收集，同时针对 CIFAR-10 数据会合的图像停止分类，借此发明逻辑门收集与其余方式做得一样好。详细来说：比拟其余分类神经收集所需的逻辑门数目，逻辑门收集所应用的逻辑门数目不只低于前者所需数目的非常之一，并在不到千分之一的时光内实现了统一义务。现场可编程门阵列（FPGA，Field Programmable Gate Array），可被用于模仿逻辑门的多种差别潜伏形式。为此，彼得森应用了 FPGA测试了逻辑门收集。这是一种可编程盘算机芯片，可用于模仿逻辑门的多种差别潜伏形式（组合）。现实上，也能够在公用集成电路（ASIC，Application Specific Integrated Circuit）芯片上实现该收集，如许还能进一步下降本钱，由于 FPGA 应用了更多组件故其本钱更高。在一些资本无限的场景中，比方在挪动装备跟嵌入式体系上，它们对能量跟速率的请求很高。而即便在处置才能无限的情况中，逻辑门收集也能让深度进修持续任务。（起源：arXiv）或在呆板进修范畴开拓更多可能性不外，对彼得森的研讨结果，也有学者对其利用远景表现担心。美国加州年夜学圣地亚哥分校电气与盘算机工程教学法里纳兹·库尚法尔（Farinaz Koushanfar）表现，她不信任逻辑门收集在面对更事实的成绩时可能施展感化。她说：“这是一个风趣的主意，但我不断定它的范围有多年夜。”她指出，逻辑门收集只能经由过程 relaxation 战略停止近似练习，而近似练习可能会掉败。只管现在看起来成绩不年夜，然而库尚法尔表现跟着收集的开展，成绩可能会越来越年夜。彼得森也否认，让逻辑门的机能媲美传统神经收集并不是他的目的。造出无效且尽可能高效的货色就充足了。“这不会是最好的模子。”他说，“但它应当是最廉价的。”逻辑门收集在图像标志等义务上的表示不如传统神经收集，但美国康奈尔年夜学电气与盘算机工程教学 Zhiru Zhang 表现，这种方式的速率跟效力使其潜力宏大。他说：“假如咱们能缩小差距，那么这可能会在呆板进修的这一范畴开拓良多可能性。”因而，彼得森对将来很有信念。他盘算持续改良逻辑门收集的才能，并等待终极可能创立一个“硬件基本模子”。试想一下，如果一个逻辑门收集不只功效强盛而能够实现通用，那么就能直接在芯片上实现年夜范围利用，而这些芯片进而能被集成得手机跟盘算机等装备中。如许一来就无望带来宏大的动力效益。假如逻辑门收集能从低辨别率信息中，无效地重修照片跟重修视频，那么效劳器跟团体装备之间所须要发送的数据就会少得多。参考材料：1.https://arxiv.org/abs/2411.04732https://www.suedkurier.de/region/kreis-konstanz/konstanz/Streng-geheimes-Forschungsprojekt-17-jaehriger-Informatik-Student-entwickelt-neuartigen-Roentgenlaser;art372448,9184349https://www.technologyreview.com/2024/12/20/1109183/the-next-generation-of-neural-networks-could-live-in-hardware/https://www.linkedin.com/in/felix-petersen-4aa014140/https://petersen.ai/经营/排版：何晨龙01/ 迷信家打造干式剥离光刻技巧，兼包容米至晶圆级多工艺场景，聚焦湿法光刻技巧情况传染及工艺不兼容困难
]article_adlist-->02/ 英伟达再次脱手收购以色列公司，买卖价钱约7亿美元，已经由过程欧盟委员会反把持考核03/ 苹果跟英伟达配合新的揣测解码方式，可将文本天生速率晋升2.7倍04/ OpenAI o3模子压轴退场，攻破极难数学题，履行一次义务数千美元05/ 无需传统卵白质序列比对方法，迷信家基于AI模子检测卵白质同源物，为卵白质近程同源物判定供给处理计划
]article_adlist-->
申明：新浪网独家稿件，未经受权制止转载。 -->
