Sub-jurnal alam semula jadi |. Berdasarkan kerumitan endogen, rangkaian baru seperti otak Institut Automasi membina jambatan antara kecerdasan buatan dan neurosains

lajur AIxiv ialah lajur untuk menerbitkan kandungan akademik dan teknikal di laman web ini. Dalam beberapa tahun kebelakangan ini, lajur AIxiv laman web ini telah menerima lebih daripada 2,000 laporan, meliputi makmal terkemuka dari universiti dan syarikat utama di seluruh dunia, mempromosikan pertukaran dan penyebaran akademik secara berkesan. Jika anda mempunyai kerja yang sangat baik yang ingin anda kongsikan, sila berasa bebas untuk menyumbang atau hubungi kami untuk melaporkan. E-mel penyerahan: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Karya ini diterbitkan dalam "Nature Computational Science", dan bersama-sama pengarang ialah Penyelidik Li Guoqi dan Xu Bo dari Institut Automasi, Akademi Sains China, dan Profesor Tian Yonghong dari Universiti Peking. Pengarang bersama ialah He Linxuan, pelajar sarjana muda dalam kelas Qian Xuesen di Universiti Tsinghua (pelatih di Institut Automasi), Xu Yunhui, pelajar sarjana muda dalam kelas asas matematik dan sains (pelatih di Institut Automasi) , dan He Weihua dan Lin Yihan, pelajar kedoktoran di Jabatan Instrumen Ketepatan di Universiti Tsinghua.

Membiarkan model mempunyai keupayaan kognitif yang lebih meluas dan umum adalah matlamat penting dalam perkembangan semasa bidang kecerdasan buatan (AI). Laluan model besar yang popular pada masa ini adalah berdasarkan Undang-undang Penskalaan untuk membina rangkaian saraf yang lebih besar, lebih mendalam dan lebih luas untuk meningkatkan prestasi model, yang boleh dipanggil kaedah pelaksanaan kecerdasan am "berdasarkan kerumitan eksogen". Walau bagaimanapun, laluan ini juga menghadapi beberapa kesukaran yang tidak dapat diatasi, seperti penggunaan sumber pengiraan yang tinggi dan penggunaan tenaga, dan mempunyai kelemahan dalam kebolehtafsiran.

Kecerdasan buatan dan neurosains telah lama saling bergantung dan dibangunkan secara kolaboratif. Untuk mengatasi dilema merealisasikan kecerdasan am "berdasarkan kerumitan eksogen", pasukan penyelidik Li Guoqi dan Xu Bo dari Institut Automasi, Akademi Sains China, bersama-sama dengan Universiti Tsinghua, Universiti Peking dan lain-lain, menggunakan ciri-ciri dinamik kompleks neuron otak dan mencadangkan pendekatan "berdasarkan kerumitan endogen" "Kaedah pembinaan model neuron seperti otak (Rajah 1) menambah baik masalah penggunaan sumber pengkomputeran yang disebabkan oleh pengembangan model tradisional dan memberikan contoh. penggunaan neurosains yang berkesan untuk membangunkan kecerdasan buatan. Jurnal Nature Computational Science mengulas mengenai perkara ini: "Penyelidikan AI lebih dekat dengan kejuruteraan dan aplikasi, manakala penyelidikan neurosains lebih bersifat penerokaan. Pasukan penyelidik mencabar pandangan tradisional ini dan menunjukkan bahawa neuron yang lebih terperinci dan realistik secara biologi Model boleh memacu kemajuan yang lebih besar dalam pembelajaran mendalam .” com/articles/s43588-024-00674-9

Pautan komen: https://www.nature.com/articles/s43588-0274-00674 6# 🎜🎜#

• Rajah 1. "Kerumitan eksogen" dan "Kerumitan endogen" Kerumitan endogen ialah model rangkaian kecil dengan kerumitan endogen yang menggunakan ciri dinamik kompleks neuron otak untuk membina model primitif rangkaian saraf : Pencerahan neuron biologi

Neuron biologi mempunyai dalaman yang kompleks. struktur, seperti saluran ion, mekanisme penghantaran sinaptik, dsb. Struktur dalaman yang kompleks ini membolehkan neuron memproses isyarat kompleks dan menjana tindak balas yang pelbagai. Sebaliknya, model rangkaian neural spiking tiruan semasa, seperti rangkaian LIF (Leaky Integrate and Fire) klasik, biasanya menggunakan struktur dalaman yang ringkas dan sukar untuk mensimulasikan dinamik dan fungsi kompleks neuron biologi.

Dalam kajian ini, penyelidik mencadangkan konsep "model rangkaian kecil dengan kerumitan endogen" Idea teras adalah untuk mensimulasikan dinamik kompleks neuron biologi untuk menggabungkan kompleks Struktur dalaman memperkenalkan neuron individu untuk membina. model AI yang lebih cekap. Sebagai contoh, dalam kajian ini, penyelidik menggunakan model HH (Hodgkin-Huxley) dalam rangkaian neural spiking untuk menggantikan model LIF tradisional. Sebagai model matematik yang menerangkan mekanisme penjanaan potensi tindakan neuron, model HH mempunyai dinamik halus yang dibawa oleh struktur dalaman yang kompleks dan boleh mensimulasikan tindak balas neuron kepada pelbagai rangsangan.

Transformasi daripada kerumitan eksogen kepada kerumitan endogen

Terbitan Dinamik Teoritikal dan Simulasi#🎜#🎜

L'équipe de recherche a théoriquement prouvé qu'il existe une certaine relation d'équivalence entre le modèle HH et le modèle LIF dans le mécanisme de génération de potentiel d'action, c'est-à-dire qu'un neurone HH peut être formé d'une manière de connexion spécifique avec quatre neurones LIF à paramètres variables dans le temps. (tv-LIF) L'équivalent microstructural est que chaque neurone LIF décrit un canal ionique dans le modèle HH. Sur la base de cette équivalence, la complexité endogène de l'unité de calcul peut être améliorée en concevant la microstructure, de sorte que le modèle de réseau HH puisse simuler les caractéristiques dynamiques du modèle de réseau LIF à plus grande échelle et obtenir des résultats similaires sur une structure de réseau plus petite. fonction.

L'équipe de recherche a effectué une vérification par simulation de cette théorie en simulant l'entrée de stimulation neuronale et en comparant la sortie du réseau. Sous le même stimulus d'entrée, le réseau tv-LIF avec une complexité exogène plus élevée est capable de produire la même réponse de sortie que le modèle HH. De plus, l'équipe a simplifié le « modèle HH » (tv-LIF2HH) construit à partir de quatre neurones tv-LIF dans le modèle s-LIF2HH, et a vérifié par des expériences de simulation que ce modèle simplifié conserve toujours la possibilité de capturer le comportement dynamique du HH. modèle (Figure 2).复 Figure 2. Les neurones de « complexité exogène » et de « complexité endogène » peuvent maintenir un comportement dynamique équivalent Afin

Comparaison des expériences d'apprentissage en réseau

En plus d'étudier le comportement dynamique de différents réseaux sous le même stimulus par simulation, le Les chercheurs ont construit un modèle de réseau HH plus vaste, le modèle de réseau s-LIF2HH, et ont effectué une classification multitâche et une amélioration en profondeur. Apprenez à expérimenter. Les résultats montrent que le modèle de réseau HH à complexité endogène peut avoir des performances similaires en termes de capacité de représentation et de robustesse à celles du modèle de réseau s-LIF2HH à plus grande échelle, et présente de meilleures performances que le réseau LIF général à plus grande échelle. Expérience d'apprentissage multitâche : le chercheur a mené une expérience d'apprentissage multitâche en utilisant l'ensemble de données Fashion-MNIST. Les résultats ont montré que le modèle de réseau HH peut atteindre des performances équivalentes à celles du modèle de réseau plus large s-LIF2HH, voire même. légèrement meilleur que le modèle de réseau s-LIF2HH à plus grande échelle d’un réseau LIF général (Figure 3).

•                                                      Performances de réseau comparables pour les réseaux à complexité exogène à grande échelle

Expériences d'apprentissage par renforcement temporel : recherche Les chercheurs ont mené des expériences d'apprentissage par renforcement séquentiel dans des environnements à pendule inversé et à double pendule inversé. Les résultats montrent. que le modèle de réseau HH peut effectuer une extraction d’informations temporelles plus puissante que les capacités du modèle de réseau LIF (Figure 4).

•                                                                                                                                                                                                            
  Expérience de robustesse : les chercheurs ont ajouté du bruit gaussien aux tâches d'apprentissage multitâche et d'apprentissage par renforcement profond pour évaluer la robustesse du réseau. Les résultats expérimentaux montrent que le modèle de réseau général LIF à plus grande échelle subit la plus grande dégradation des performances sous l'influence du bruit, tandis que le modèle de réseau HH et le modèle de réseau s-LIF2HH à plus grande échelle présentent une plus grande robustesse. Lorsque l'intensité du bruit augmente, les courbes de récompense du modèle de réseau HH et du modèle de réseau s-LIF2HH restent proches et sont nettement moins affectées que le modèle de réseau LIF général (Figure 5).生 Figure 5. Le modèle de réseau HH avec une complexité endogène est meilleur qu'un réseau complexe exogène plus grand.

  Des expériences ont prouvé l'efficacité et la fiabilité du modèle de complexité endogène dans la gestion de tâches complexes. Dans le même temps, l'étude a révélé que le modèle de réseau HH est plus efficace en termes de consommation de ressources informatiques, réduisant considérablement l'utilisation de la mémoire et du temps de calcul, améliorant ainsi l'efficacité informatique globale. L’équipe de recherche a expliqué les résultats de recherche ci-dessus à travers la théorie des goulots d’étranglement de l’information. De plus, la structure externe d’un modèle à petite échelle est relativement simple, ce qui facilite la compréhension de son processus de prise de décision, ce qui améliore également l’interprétabilité et la sécurité du modèle.

  Conclusion et perspectives

  Les petits modèles à complexité endogène apportent de nouvelles opportunités pour le développement de l'IA. En simulant la dynamique complexe des neurones biologiques et en optimisant la microstructure locale du modèle pour étendre la complexité endogène, nous pouvons construire des modèles d'IA plus efficaces et plus puissants et surmonter le dilemme des grands modèles avec une complexité externe. À l’avenir, l’expansion de la complexité endogène pourrait devenir une direction importante dans la recherche sur l’IA et promouvoir la technologie de l’IA vers des applications plus larges.

  Cette recherche fournit de nouvelles méthodes et un soutien théorique pour intégrer les caractéristiques dynamiques complexes des neurosciences dans l'intelligence artificielle, et fournit une solution réalisable pour l'optimisation des modèles d'IA et l'amélioration des performances dans les applications pratiques. À l'heure actuelle, l'équipe de recherche a mené des recherches sur les réseaux HH à plus grande échelle et les neurones multi-branchés à plusieurs compartiments avec une plus grande complexité endogène, ce qui devrait améliorer encore l'efficacité informatique et les capacités de traitement des tâches des grands modèles et les mettre en œuvre dans la pratique. scénarios d'application. L'atterrissage rapide.

Atas ialah kandungan terperinci Sub-jurnal alam semula jadi |. Berdasarkan kerumitan endogen, rangkaian baru seperti otak Institut Automasi membina jambatan antara kecerdasan buatan dan neurosains. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!