Geoffrey Hinton, lauréat du prix Turing : Mes cinquante années de carrière en apprentissage profond et mes méthodes de recherche

Il n'a jamais formellement suivi de cours d'informatique. Il a étudié la physiologie et la physique en tant que premier cycle à l'Université de Cambridge. Durant cette période, il s'est tourné vers la philosophie, mais il a finalement obtenu un baccalauréat en psychologie ; d'études Il est allé travailler comme menuisier, mais après avoir rencontré des revers, il est retourné à l'Université d'Édimbourg et a obtenu un doctorat en intelligence artificielle, une « spécialisation impopulaire ». Ses mauvaises mathématiques l'ont rendu désespéré lorsqu'il faisait des recherches. professeur, il est devenu de plus en plus préoccupé par les choses qu'il ne comprenait pas. Il consulte toujours ses étudiants diplômés sur les connaissances en neurosciences et en sciences informatiques.

Le parcours académique semble stupéfiant, mais Geoffrey Hinton est devenu celui qui a le dernier mot. Il est connu comme le « Parrain du Deep Learning » et a remporté la plus haute distinction dans le domaine informatique, le « Turing Award ». ".

Hinton est né dans une riche famille scientifique au Royaume-Uni, mais la carrière universitaire et les hauts et les bas qu'il a connus tout au long de sa vie ont été riches et bizarres.

Son père, Howard Everest Hinton, est un entomologiste britannique et sa mère, Margaret, est enseignante. Ils sont tous deux communistes. Son oncle est le célèbre économiste Colin Clark, qui a inventé le terme économique « produit national brut », et son arrière-arrière-grand-père est le célèbre logicien George Boole. Son invention de l'algèbre booléenne a jeté les bases de l'informatique moderne.

Influencé par une riche famille de scientifiques, Hinton a une capacité de réflexion indépendante et de ténacité depuis son enfance, et a assumé la responsabilité d'hériter de l'honneur familial. Sa mère lui a donné deux choix, « soit devenir un érudit, soit être un perdant ». Il n'avait aucune raison de choisir de s'allonger. Même s'il a traversé de nombreuses difficultés à l'université, il a quand même terminé ses études.

En 1973, il a étudié pour un doctorat en intelligence artificielle auprès de Langer Higgins à l'Université d'Édimbourg au Royaume-Uni. Mais à cette époque, presque personne ne croyait aux réseaux de neurones, et son mentor l'a persuadé d'abandonner ses recherches dans ce domaine. technologie. Les doutes qui l'entouraient n'ont pas suffi à ébranler sa ferme croyance dans les réseaux de neurones. Au cours des dix années suivantes, il a successivement proposé l'algorithme de rétropropagation et la machine de Boltzmann, mais il lui faudra attendre encore des décennies pour que l'apprentissage en profondeur inaugure une grande explosion. ses recherches seront alors largement connues.

Après avoir obtenu son doctorat, Hinton a également connu des difficultés dans la vie. Lui et sa première épouse Ros (biologiste moléculaire) sont allés aux États-Unis et ont obtenu un poste d'enseignant à l'Université Carnegie Mellon. Cependant, en raison du mécontentement à l'égard de l'administration Reagan et du fait que la recherche sur l'intelligence artificielle était essentiellement soutenue par le Département américain de l'Intelligence artificielle. Défense , ils sont allés au Canada en 1987 et Hinton a commencé à enseigner à l'École d'informatique de l'Université de Toronto et à mener des recherches sur le projet d'apprentissage automatique et cérébral à l'Institut canadien de recherches avancées du CIFAR.

Malheureusement, en 1994, sa femme Ros est décédée d'un cancer de l'ovaire, et Hinton ne pouvait élever que seul ses deux jeunes enfants adoptés. Parmi eux, le fils souffrait également de trouble déficitaire de l'attention avec hyperactivité (TDAH) et d'autres problèmes d'apprentissage. obstacle. Plus tard, il s'est remarié avec sa femme actuelle, Jackie (une historienne de l'art), mais Jackie a également souffert d'un cancer il y a quelques années.

Il souffre également d'une grave maladie de la colonne lombaire, qui l'empêche de s'asseoir comme les gens normaux. Il doit donc se tenir debout et travailler la plupart du temps. Par conséquent, il refuse également de voler parce qu'il est obligé de le faire pendant. Le décollage et l'atterrissage l'empêchaient également d'aller ailleurs pour donner des rapports académiques.

De gauche à droite se trouvent Ilya Sutskever, Alex Krizhevsky et Geoffrey Hinton

Après près d'un demi-siècle de persévérance dans la technologie et de tempérance dans la vie, enfin, l'aube de 2012 s'est levée, et il et ses étudiants, AlexNet proposé par Alex Krizhevsky et Ilya Sutskever ont choqué l'industrie, remodelé le domaine de la vision par ordinateur et lancé une nouvelle ère d'or de l'apprentissage profond.

Également fin 2012, lui et les deux étudiants ont créé la société trio DNN-research et l'ont vendue à Google pour un « prix exorbitant » de 44 millions de dollars américains. Il est également passé d'un universitaire à un Google. vice-président, ingénieur.

En 2019, Hinton, professeur d'IA sans formation en informatique, a remporté le prix Turing avec Yoshua Bengio et Yann LeCun.

Après avoir traversé de nombreuses épreuves, le « parrain du deep learning » de 74 ans se bat toujours en première ligne de la recherche sur l'IA. Il n'a pas peur des doutes soulevés par d'autres chercheurs et admettra franchement ces jugements. et des prédictions qui ne se sont pas réalisées. Quoi qu'il en soit, il croit toujours que dix ans après l'essor de l'apprentissage profond, cette technologie continuera à libérer son énergie, et il réfléchit et cherche également le prochain point de rupture.

Alors, d'où vient sa ferme croyance dans les réseaux de neurones ? Au milieu du scepticisme actuel selon lequel l’apprentissage profond « se heurte à un mur », comment voit-il la prochaine étape du développement de l’IA ? Quel message adresse-t-il à la jeune génération de chercheurs en IA ?

Récemment, dans le podcast The Robot Brains hébergé par Pieter Abbeel, Hinton a partagé très franchement son parcours universitaire, l'avenir de l'apprentissage profond et de l'expérience de recherche, ainsi que l'histoire intérieure de la vente aux enchères de DNN-research. Voici ce qu'il avait à dire.

Hinton

, 8 ans, L'impact le plus profond sur moi a été l'éducation que j'ai reçue dans mon enfance. Ma famille n'a aucune croyance religieuse et mon père est communiste, mais considérant que l'enseignement scientifique dans les écoles privées est meilleur, quand j'avais 7 ans, il a insisté pour m'envoyer dans une école privée chrétienne coûteuse. Tout le monde là-bas sauf moi, les enfants croient. en Dieu.

Dès que je suis rentré à la maison, ma famille a dit que la religion n'avait aucun sens. Bien sûr, peut-être parce que j'ai une forte conscience de moi-même, je n'y crois pas moi-même, je me rends compte que croire en Dieu est une erreur. et j'ai développé l'habitude de questionner les autres. Bien sûr, plusieurs années plus tard, ils découvrent que leurs croyances initiales étaient fausses et se rendent compte que Dieu n’existe peut-être pas vraiment.

Cependant, si je vous dis maintenant d'avoir la foi, la foi est importante, cela peut paraître ironique, mais nous devons avoir confiance dans la recherche scientifique, pour que même si les autres disent que vous avez tort, vous puissiez toujours être là. Continuez à marcher sur le bon chemin.

1 Dans les années 1970, j'ai étudié les réseaux de neurones "Lonely Brave"

Mon parcours scolaire est très riche. Au cours de ma première année à l'Université de Cambridge, j'étais le seul étudiant à se spécialiser en physique et en physiologie en même temps, ce qui a posé certaines bases en sciences et en ingénierie pour ma carrière de chercheur scientifique ultérieure.

Cependant, je n'étais pas très bon en mathématiques, j'ai donc dû abandonner mes études de physique. Cependant, j'étais très curieux du sens de la vie, alors je me suis tourné vers des études de philosophie. Après avoir obtenu certains résultats, j'ai commencé à étudier. psychologie.

Lors de ma dernière année à Cambridge, j'ai vécu une période très difficile et j'étais malheureuse, alors j'ai abandonné l'école dès que j'ai terminé mes examens et je suis devenue menuisière. En fait, je préfère être menuisier plutôt que faire autre chose.

Au lycée, après les cours pendant la journée, je rentrais chez moi et faisais quelques travaux de menuiserie. C'était mon moment le plus heureux. Petit à petit, je suis devenu menuisier, mais après environ six mois de travail, j'ai découvert que l'argent qu'un menuisier gagnait était trop peu pour gagner sa vie, même s'il y avait plus à faire pour un menuisier qu'il n'y paraît. La rénovation est beaucoup plus facile et l'argent arrive rapidement, alors tout en travaillant comme menuisier, je fais aussi des travaux de décoration à temps partiel. À moins que vous ne soyez un menuisier expérimenté, l'argent que vous gagnez en tant que menuisier n'est certainement pas aussi bon que celui de la décoration.

Je n’avais pas réalisé que je n’étais pas fait pour ça jusqu’au jour où j’ai rencontré un très bon menuisier. Une entreprise charbonnière a demandé à ce menuisier de réaliser une porte pour un sous-sol sombre et humide. Compte tenu de l'environnement particulier, il a disposé le bois dans le sens opposé pour compenser la déformation du bois due à la dilatation de l'humidité. pensé avant. Il peut également couper un morceau de bois en carrés avec une scie à main. Il m'a expliqué : Si tu veux couper le bois en carrés, il faut aligner la scie et le bois avec la pièce.

À ce moment-là, je sentais que j'étais trop loin derrière lui, alors j'ai pensé que je devrais peut-être retourner à l'école pour étudier l'intelligence artificielle.

Plus tard, je suis allé à l'Université d'Édimbourg pour étudier un doctorat en réseaux de neurones, et mon superviseur était le célèbre professeur Christopher Longute-Higgins. Quand il avait la trentaine, il a découvert la structure du borohydrure et a failli remporter le prix Nobel. C'était vraiment incroyable. Jusqu'à présent, je ne sais toujours pas ce qu'il étudiait. Je sais seulement que cela est lié à la mécanique quantique. La base factuelle de cette recherche est que « la rotation de l'opérateur d'identité n'est pas de 360 ​​​​degrés, mais de 720 degrés ».

Il était très intéressé par la relation entre les réseaux de neurones et les hologrammes, mais après que je sois allé à l'Université d'Édimbourg, il s'est soudainement désintéressé des réseaux de neurones, principalement parce qu'il a lu Winograd (un informaticien américain) Après le Cet article a eu un grand impact sur lui.

En fait, il n'était pas d'accord avec mon orientation de recherche et voulait que je fasse des recherches plus faciles à gagner. Cependant, il était une bonne personne et m'a quand même dit d'être ferme dans ma direction et ne m'a jamais empêché d'étudier. réseaux de neurones.

Marvin Minsky et Seymour Papert

Au début des années 1970, tout le monde autour de moi m'a demandé, Marvin Minsky et Seymour Papert disaient tous deux que l'avenir des réseaux de neurones était sombre, pourquoi devraient-ils persister ? Pour être honnête, je me sens seul.

En 1973, j'ai prononcé un discours devant un groupe pour la première fois, et le contenu portait sur la façon d'utiliser les réseaux de neurones pour effectuer une véritable récursion. Dans le premier projet, j'ai découvert que si vous voulez qu'un réseau neuronal dessine un graphique, divisez le graphique en plusieurs parties, et que ces parties du graphique puissent être dessinées par un matériel neuronal similaire, alors le centre neuronal qui stocke l'intégralité du graphique est La position, l’orientation et la taille du graphique global doivent être mémorisées.

Si le réseau neuronal qui dessine le graphique s'arrête soudainement et que vous souhaitez utiliser un autre réseau neuronal pour continuer à dessiner le graphique, alors vous avez besoin d'un endroit pour stocker le graphique et la progression du travail, puis vous pouvez continuer le travail de dessin. La difficulté est maintenant de savoir comment faire en sorte que le réseau neuronal réalise ces fonctions. Évidemment, copier des neurones ne suffit pas, je souhaite donc concevoir un système capable de s'adapter en temps réel et d'enregistrer la progression du travail grâce à un poids rapide. De cette façon, en rétablissant l'état correspondant, vous pouvez continuer à accomplir la tâche.

J'ai donc créé un ensemble de réseaux de neurones qui implémentent une véritable récursion en réutilisant les mêmes neurones et poids pour effectuer des appels récursifs (tout comme pour les appels de haut niveau). Cependant, je ne suis pas doué pour parler, donc j'ai l'impression que personne ne comprend ce que je dis.

Pourquoi la récursivité devrait-elle être effectuée dans les réseaux de neurones alors que la récursivité Lisp peut être utilisée. Ce qu’ils ne savent pas, c’est qu’il y a tout un tas de problèmes qui ne peuvent être résolus que si les réseaux neuronaux peuvent mettre en œuvre des choses comme la récursivité. Maintenant, c'est redevenu un problème intéressant, alors j'attendrai encore un an jusqu'à ce que ce problème devienne une curiosité vieille de 50 ans, puis j'écrirai un document de recherche sur les poids rapides.

A cette époque, tout le monde n'était pas contre les réseaux de neurones. Si l’on remonte aux années 1950, des chercheurs tels que von Neumann et Turing croyaient encore aux réseaux neuronaux. Ils étaient tous deux très intéressés par le fonctionnement du cerveau, et Turing croyait en particulier à l’amélioration de l’entraînement des réseaux neuronaux. m'a donné confiance dans l'orientation de mes recherches.

C'est dommage qu'ils soient morts jeunes. S'ils pouvaient vivre encore quelques années, leur sagesse suffirait à influencer le développement d'un domaine, et peut-être que le Royaume-Uni aurait déjà fait une percée à cet égard, et peut-être l'actuel. La situation de l’intelligence artificielle sera très différente.

2 De pur universitaire à employé de Google

La principale raison pour laquelle je travaille chez Google est que mon fils est handicapé et que je dois gagner de l'argent pour lui.

En 2012, j'ai senti que je pouvais gagner beaucoup d'argent en donnant des conférences sur Coursera, j'ai donc ouvert un cours sur les réseaux de neurones. Les premiers logiciels Coursera n'étaient pas faciles à utiliser et je n'étais pas très doué pour utiliser les logiciels, donc je me sentais souvent irritable.

Au départ, j'ai conclu un accord avec l'Université de Toronto Si ces cours peuvent rapporter de l'argent, alors l'université donnera une partie de l'argent aux professeurs. Bien qu'ils n'aient pas clairement indiqué le ratio de partage spécifique, certaines personnes ont dit qu'il serait de moitié-moitié, alors je l'ai accepté avec plaisir.

Pendant le processus d'enregistrement du cours, j'ai demandé à l'école d'enregistrer une vidéo pour moi, mais ils m'ont demandé : « Savez-vous combien cela coûte de faire des vidéos ? Bien sûr, je le sais, parce que je fais des vidéos ? moi-même et l'école. Toujours aucun soutien fourni. Cependant, après avoir commencé les cours (j'étais déjà dans une impasse), le prévôt a décidé unilatéralement, sans me consulter ni consulter qui que ce soit, que l'école prendrait tout l'argent et que je n'obtiendrais pas un centime. l'accord initial.

Ils m'ont demandé d'enregistrer le cours et m'ont dit que cela faisait partie de mon travail d'enseignement, mais qu'en réalité cela n'appartenait pas à mon champ d'enseignement, mais qu'il s'agissait simplement d'un cours basé sur des conférences connexes que j'avais données auparavant. Par conséquent, je n’ai plus jamais utilisé Coursera dans mon travail d’enseignement ultérieur. Cet incident m’a tellement mis en colère que j’ai commencé à envisager de poursuivre une autre carrière.

À ce moment-là, de nombreuses entreprises nous ont soudainement tendu un rameau d'olivier et étaient prêtes à parrainer une grande quantité de fonds ou à nous soutenir dans la création d'une entreprise. Cela montre que de nombreuses entreprises sont toujours très intéressées par le contenu de notre recherche.

Depuis que le gouvernement de l'État nous a déjà accordé une subvention de recherche, nous ne voulons plus gagner d'argent supplémentaire et nous concentrer sur nos propres recherches. Mais l'expérience de l'école qui m'a fraudé de l'argent m'a donné envie de gagner plus d'argent, alors j'ai ensuite vendu aux enchères la recherche DNN récemment créée.

Cette vente a eu lieu lors de la NIPS (Neural Information Processing Systems Conference) en décembre 2012. La conférence s'est tenue dans un lieu de divertissement au bord du lac Tahoe. Les lumières brillaient au sous-sol, et un groupe de personnes torse nu. les joueurs étaient dans la fumée. La salle bondée criait : « Vous avez gagné 25 000, tout cela est à vous »... Au même moment, une entreprise était vendue aux enchères à l'étage.

C'était comme jouer dans un film, exactement comme ce que j'ai vu sur les réseaux sociaux, c'était vraiment génial. La raison pour laquelle nous avons mis l'entreprise aux enchères était parce que nous n'avions aucune idée de sa propre valeur, j'ai donc consulté un avocat en propriété intellectuelle. Il a dit qu'il existe deux manières : l'une consiste à embaucher directement un négociateur professionnel pour négocier avec ces entreprises. Les grandes entreprises négocient, mais cela peut rencontrer des désagréments ; la seconde est de lancer une vente aux enchères.

Pour autant que je sache, c'est la première fois dans l'histoire qu'une petite entreprise comme la nôtre organise une vente aux enchères. J'ai fini par enchérir via Gmail parce que je travaillais chez Google cet été-là et je savais qu'ils ne se contenteraient pas de voler les e-mails des gens, et je le pense toujours, même maintenant. Mais Microsoft a exprimé son mécontentement face à notre décision.

Le processus d'enchère est le suivant : Les entreprises participant à l'enchère doivent nous envoyer leurs offres via Gmail, et nous les enverrons ensuite aux autres participants accompagnées d'un horodatage Gmail. L'enchère de départ était de 500 000 $, puis quelqu'un a enchéri 1 million de dollars, et nous étions si heureux de voir les enchères augmenter et de réaliser que nous valions bien plus que ce que nous pensions. Lorsque les enchères atteignaient un certain niveau (que nous pensions astronomique à l’époque), nous étions plus enclins à travailler chez Google et arrêtions les enchères.

Venir travailler chez Google était le bon choix. Je travaille ici depuis neuf ans maintenant. Quand j’ai travaillé ici pendant dix ans, ils devraient me donner une récompense. Après tout, seule une poignée de personnes ont travaillé ici aussi longtemps.

Les gens préfèrent travailler chez Google que dans d'autres entreprises, et moi aussi. La principale raison pour laquelle j'aime cette entreprise est que l'équipe de Google Brain est formidable. Je me concentre davantage sur l'étude de la manière de construire des systèmes d'apprentissage à grande échelle et sur l'étude des mécanismes de fonctionnement du cerveau. Google Brain dispose non seulement des riches ressources nécessaires pour étudier des systèmes à grande échelle, mais peut également communiquer et apprendre de nombreux talents exceptionnels.

Je suis une personne hétéro et Jeff Dean est un homme intelligent, et c'est un plaisir de s'entendre avec lui. Il voulait que je fasse des recherches fondamentales et que j'essaie de proposer de nouveaux algorithmes, ce que j'aimais faire. Je ne suis pas doué pour gérer de grandes équipes, en revanche, je suis plus disposé à améliorer la précision de la reconnaissance linguistique d'un point de pourcentage. Apporter une nouvelle révolution dans ce domaine est ce que j'ai toujours voulu faire.

3 La prochaine grande nouveauté de l'apprentissage profond

Le développement de l'apprentissage profond dépend de la descente de gradient stochastique dans de grands réseaux avec des données massives et une puissance de calcul puissante. Sur cette base, certaines idées peuvent mieux s'enraciner, par exemple, aléatoire. l'abandon scolaire et de nombreuses études actuelles sont indissociables d'une puissance de calcul puissante, de données massives et d'une descente de gradient stochastique.

On dit souvent que l'apprentissage profond a rencontré un goulot d'étranglement, mais en fait, il a progressé. J'espère que les sceptiques écriront ce que l'apprentissage profond ne peut pas faire maintenant. Dans cinq ans, nous prouverons que l’apprentissage profond peut réaliser ces choses.

Bien entendu, ces tâches doivent être strictement définies. Par exemple, Hector Levesque (professeur d'informatique à l'Université de Toronto) est un spécialiste typique de l'IA, et lui-même est très bon. Hector a établi une norme, la phrase de Winograd, dont un exemple est : « Le trophée ne rentre pas dans la valise parce qu'il est trop petit ; le trophée ne rentre pas dans la valise parce qu'il est trop grand

Si. » si vous voulez traduire ces deux phrases en français, vous devez comprendre que dans le premier cas, "ça" fait référence à la valise, et dans le deuxième cas, "ça" fait référence au trophée, car elles sont en français de genres différents, et les premières traductions automatiques du réseau neuronal étaient aléatoires, de sorte que lorsque la machine traduisait la phrase ci-dessus en français, la machine ne pouvait pas identifier correctement le sexe. Mais cette situation s’améliore constamment. Au moins, Hector a donné une définition très claire des neurones et de ce qu’ils peuvent faire. Ce n'est pas parfait, mais c'est au moins bien mieux qu'une traduction aléatoire. J’aimerais que les sceptiques soulèvent davantage de questions comme celle-ci.

Je pense que le paradigme très réussi de l'apprentissage profond continuera à prospérer : c'est-à-dire l'ajustement d'un grand nombre de paramètres à valeur réelle en fonction du gradient d'une fonction objective, mais nous n'utiliserons probablement pas le mécanisme de rétropropagation pour obtenir le gradient, la fonction objectif peut être plus localisée et distribuée.

Je suppose personnellement que le prochain grand événement en matière d'IA sera certainement l'algorithme d'apprentissage du réseau neuronal de pointe. Il peut résoudre la décision discrète d'effectuer ou non une impulsion et la décision continue de savoir quand effectuer l'impulsion, de sorte que le temps d'impulsion puisse être utilisé pour effectuer des calculs intéressants, ce qui est en fait difficile à faire dans les réseaux neuronaux non impulsifs. C'était un regret majeur de ma carrière de chercheur de ne pas avoir pu étudier en profondeur l'algorithme d'apprentissage des réseaux neuronaux de pointe auparavant.

Je n'ai pas l'intention d'étudier l'AGI, et j'essaie d'éviter de définir ce qu'est l'AGI, car il y a divers problèmes derrière la vision de l'AGI, et l'intelligence artificielle générale ne peut pas être obtenue simplement en augmentant le nombre de neurones avec des paramètres ou connexions neuronales.

AGI imagine un robot intelligent de type humain, aussi intelligent que les humains. Je ne pense pas que l’intelligence se développera nécessairement de cette façon, mais j’espère qu’elle se développera davantage de manière symbiotique. Je pense que nous allons peut-être concevoir des ordinateurs intelligents, mais ils ne seront pas autonomes comme les humains. Si leur objectif est de tuer d’autres personnes, alors ils doivent probablement être autonomes, mais j’espère que nous n’irons pas dans cette direction.

4 Croyez en l'intuition de la recherche et laissez-vous guider par la curiosité

La façon de penser de chacun est différente et nous ne comprenons pas nécessairement notre propre processus de réflexion. J'aime suivre mon instinct et je préfère utiliser des analogies lors de mes recherches. Je crois que le raisonnement humain repose sur l'utilisation des bonnes caractéristiques de grands vecteurs pour faire des analogies, ce que je fais moi-même.

Je teste souvent une certaine étude encore et encore sur mon ordinateur pour voir ce qui fonctionne et ce qui ne fonctionne pas. Il est en effet important de comprendre la logique mathématique sous-jacente des choses et de mener des recherches fondamentales, et il est également nécessaire de présenter quelques arguments, mais ce n'est pas ce que je souhaite faire.

Faisons un petit test : s'il y a deux conférences à la conférence NIPS, l'une porte sur l'utilisation d'une méthode nouvelle, intelligente et élégante pour prouver une conclusion connue, l'autre porte sur de nouveaux algorithmes d'apprentissage puissants, mais le la logique derrière les algorithmes est actuellement inconnue.

Si vous deviez choisir d'assister à l'une de ces deux conférences, quel choix feriez-vous ? Par rapport à la deuxième conférence, la première conférence est peut-être plus facile à accepter. Les gens semblent plus curieux des nouvelles façons de prouver des choses connues, mais j'irai à la deuxième conférence après tout, dans le domaine des réseaux de neurones, presque tous. des progrès ont été réalisés. Ils proviennent de l'intuition instantanée des gens lorsqu'ils font des déductions mathématiques, plutôt que d'un raisonnement conventionnel.

Alors faut-il faire confiance à son intuition ? J'ai un critère : soit vous avez une grande intuition, soit vous n'en avez pas. Si vous n’avez pas une intuition vive, peu importe ce que vous faites ; mais si vous avez une intuition vive, vous devez faire confiance à votre intuition et faire ce que vous pensez être juste.

Bien sûr, une intuition vive vient de votre compréhension du monde et de beaucoup de travail acharné. Lorsque vous accumulez beaucoup d’expérience avec la même chose, vous développerez votre intuition.

Je souffre d'une légère maniaco-dépression, j'erre donc généralement entre deux conditions : une autocritique modérée peut me rendre très créatif, tandis qu'une autocritique extrême peut me rendre légèrement déprimée. Mais je pense que c’est plus efficace qu’une simple émotion. Lorsque vous vous sentez irrité, ignorez simplement l’évidence et passez à autre chose, confiant que quelque chose d’intéressant et d’excitant vous attend. Lorsque vous vous sentez pris au dépourvu face à un problème, vous devez persévérer, clarifier votre pensée et bien réfléchir à la qualité de vos idées.

En raison de cette alternance d'émotions, je dis souvent à tout le monde que j'ai compris le mécanisme de fonctionnement du cerveau. Mais après un certain temps, j'ai été déçu de constater que la conclusion précédente était fausse, mais c'est ainsi que les choses devraient se passer. se développer, tout comme les deux vers du poème de William Blake, « tissant la joie et le chagrin sur mon cœur sacré ».

Je pense que l'essence du travail de recherche scientifique est la même. Si vous n'êtes pas enthousiasmé par le succès et pas frustré par l'échec, vous n'êtes pas un chercheur au vrai sens du terme.

Dans ma carrière de chercheur, même si j'ai parfois l'impression d'être complètement incapable de comprendre certains algorithmes, je ne me suis jamais vraiment senti perdu et désespéré. À mon avis, quel que soit le résultat final, il y a toujours quelque chose qui vaut la peine d’être fait. Les excellents chercheurs ont toujours beaucoup à faire, mais ils n’ont tout simplement pas assez de temps.

Lorsque j'enseignais à l'Université de Toronto, j'ai trouvé que les étudiants de premier cycle avec une spécialisation en informatique étaient très bons, et de nombreux étudiants de premier cycle avec une spécialisation en sciences cognitives et une mineure en informatique avaient également de très bons résultats. en technologie, mais ils font toujours du bon travail en recherche, ils aiment l'informatique, ils veulent vraiment comprendre comment se forme la cognition humaine et ils ont un intérêt constant.

Des scientifiques comme Blake Richards (professeur adjoint à l'Institut neurologique de Montréal) savent exactement quel problème ils veulent résoudre, et ensuite ils s'orientent dans cette direction. Aujourd’hui, de nombreux scientifiques ne savent pas ce qu’ils veulent faire.

Avec le recul, je pense que les jeunes devraient trouver la direction qui les intéresse au lieu de simplement acquérir certaines compétences. Poussé par vos propres intérêts, vous prendrez l'initiative de maîtriser certaines connaissances nécessaires pour trouver les réponses que vous souhaitez, ce qui est plus important que d'apprendre aveuglément la technologie.

Maintenant que j'y pense, j'aurais dû apprendre plus de mathématiques quand j'étais jeune, l'algèbre linéaire aurait été beaucoup plus facile si je l'avais fait.

Les mathématiques me rendent souvent désespéré, ce qui rend difficile la lecture de certains articles, notamment la compréhension du grand nombre de symboles, ce qui est vraiment un gros défi, donc je ne lis pas trop d'articles. Concernant les questions de neurosciences, je demande habituellement conseil à Terry Sejnowski (professeur de neurologie computationnelle). Pour les questions d'informatique, je demande aux étudiants diplômés de me les expliquer. Lorsque j’ai besoin d’utiliser les mathématiques pour prouver si une étude est réalisable, je trouve toujours une méthode adaptée.

L'idée de rendre le monde meilleur en faisant de la recherche est sympa, mais j'aime encore plus explorer les limites supérieures de la créativité humaine. Je veux vraiment comprendre comment fonctionne le cerveau, et je crois que nous en avons besoin. de nouvelles idées, comme comprendre le fonctionnement du cerveau grâce à l'algorithme d'apprentissage des réseaux neuronaux.

Je crois que les meilleurs travaux de recherche devraient être effectués par un grand groupe d'étudiants diplômés et dotés de riches ressources. Le travail de recherche scientifique requiert une vitalité juvénile, une motivation sans fin et un fort intérêt pour la recherche.

Vous devez être motivé par la curiosité pour faire la meilleure recherche fondamentale. Ce n’est qu’alors que vous serez motivé à ignorer les obstacles évidents et à estimer les résultats que vous obtiendrez. S’il s’agit d’une étude générale, la créativité n’est pas la chose la plus importante.

C'est toujours une bonne idée de découvrir sur quoi travaillent un groupe de personnes intelligentes, et vous pourrez ensuite effectuer différentes recherches. Si vous avez déjà fait des progrès dans un certain domaine, vous n'avez pas besoin d'autres nouvelles idées, il vous suffit d'approfondir la recherche existante pour réussir. Mais si vous souhaitez travailler sur de nouvelles idées, comme construire du gros matériel, c'est aussi très bien, même si le chemin à parcourir peut être un peu semé d'embûches.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!