Neural Lab · Python dans le navigateur

Architecture

Apprentissage

En pause

Poids du réseau quantifiéChanger de mode réinitialise les réseaux.

Taux d’apprentissage

Mises à jour par cycle

Scénario et simulation

Difficulté des jeuxChanger de jeu ou de difficulté conserve l’architecture et réinitialise l’apprentissage pour la nouvelle tâche.

Cliquez sur un objet du jeu, une entrée, un neurone ou un point des courbes pour voir ses valeurs et les cibles d’entraînement.

Start, Pause et Arrêt au-dessus des jeux. L’entraînement se commande séparément. Arrêt remet les deux mondes au départ et conserve les poids appris.

Affichage et inspection

Entrée commune x+0,650

−1Tester les deux réseaux+1

Sortie à comparer

Réseau à inspecter

Couche à examiner

→→→

Connexions à afficher

Comprendre l’expérience

Architecture et méthode

Les mêmes données, la même architecture. Des poids différents.
Observez les calculs réels, du signal d’entrée à la mise à jour des connexions.

LE TERRAIN DE JEU

1 → 3 → 3 → 3 → 1

24 connexions · sans biaiscible sin(πx)

Deux workers Python · mini-lots identiques
3 couches tanh · sorties linéaires · Adam

Le conseil est un préréglage défini par jeu et difficulté, adapté aux capteurs et aux commandes. Les couches cachées ont été choisies manuellement ; aucune recherche automatique ni garantie d’optimalité.

Cliquer sur un neurone ou une connexion pour examiner son calcul. Les deux schémas utilisent le même instantané.

LECTURE DU CALCULInstantané —

Que font réellement les deux réseaux ?

Deux workers Python indépendants entraînent la même architecture configurable, avec les mêmes poids initiaux et les mêmes mini-lots de 16 exemples. Le coordinateur publie leurs résultats au même pas. Le scénario Courbes apprend des sinus ; les jeux apprennent par imitation supervisée d’un enseignant. Pendant le jeu, les sorties des réseaux commandent réellement les agents. Les deux mondes partent du même état et peuvent ensuite diverger avec leurs décisions.

Comment apprendre avec des poids discrets ?

Le réseau quantifié garde des poids latents continus. À chaque propagation, il les convertit en codes ±1 ou −1/0/+1 avec une échelle moyenne par couche. Les activations sont converties en int8. Le cœur du produit scalaire additionne, soustrait ou ignore les entrées entières, puis applique les échelles. La rétropropagation utilise un estimateur STE simplifié ; Adam met à jour les poids latents.

Est-ce le moteur officiel BitNet.cpp ?

C’est un réseau quantifié pédagogique réellement exécuté, inspiré des principes de BitNet. BitNet.cpp est un moteur d’inférence pour de grands modèles compatibles, pas un outil qui entraîne ce petit réseau. Ici, il n’est ni chargé ni exécuté. Notre réseau tanh n’est pas une reproduction de l’architecture Transformer BitNet.

Pourquoi 1 bit, 1,58 bit et 2 bits ?

Deux valeurs se codent sur 1 bit. Trois valeurs ont une limite théorique de log₂(3) ≈ 1,585 bit ; cet exemple les encode sur 2 bits. L’export contient les poids réellement encodés, une échelle float32 par matrice quantifiée et les biais float32 s’ils sont activés. Les compteurs mesurent ces octets, sans l’enveloppe JSON ; ils ne mesurent pas la mémoire Python ni celle de l’optimiseur.

Le réseau quantifié est-il toujours plus rapide ?

La durée affichée mesure une propagation Python, trace comprise. Sur seulement 24 poids, la quantification et l’instrumentation peuvent coûter davantage que le calcul classique. Ce laboratoire ne démontre pas les accélérations de noyaux C++ optimisés, et ne garantit ni gain de vitesse ni égalité de précision.

Sources : article BitNet b1.58 et dépôt officiel Microsoft.

Chargement de Python

0 %

Préparation du moteur Python…

Les composants vont être chargés dans votre navigateur.

Réseau classique : en attenteRéseau quantifié : en attente

A

Poids continus · précision float32

FLOAT32

Erreur moyenne (MSE)—

Prédiction ŷ—

Poids encodés + échelles96 octets

Activité du worker—

Mémoire WebAssembly—Pic —

B

Poids −1 / 0 / +1 · principe b1.58

b1.58 · 2 BITS

Erreur moyenne (MSE)—

Prédiction ŷ—

Poids encodés + échelles22 octets

Activité du worker—

Mémoire WebAssembly—Pic —

01 / APPROXIMATION

Apprendre une fonction

Sortie 1

Cible sin(πx) Classique Quantifié

Les points sont les vraies prédictions sur 81 entrées. Le repère vertical suit votre entrée x.

02 / APPRENTISSAGE

L’erreur au fil des pas

MSE · 65 exemples

Classique — Quantifié —

Évaluation sur le même jeu de données après chaque cycle. Les poids quantifiés peuvent produire des sauts d’erreur.

Du dessin au calcul

LES VALEURS ET LE CODE PROVIENNENT DU MOTEUR PYTHON

03 / INSPECTEUR

Dans un neurone

Réseau quantifié

engine.py

PYTHON LOCAL · PYODIDE

Chargement du code source…

Le surlignage désigne la partie qui produit la trace sélectionnée. L’animation relit ce calcul ; les valeurs changent avec les instantanés du moteur.

04 / POIDS EN DIRECT

Ce qui change quand le réseau apprend

Entrée → couche 1

Connexion	Classique · float32	Quantifié · poids latent	Code utilisé q	Échelle α	Poids effectif α × q

Les poids latents restent en float32 pendant l’entraînement. Le réseau quantifié utilise réellement les codes discrets et des entrées int8 pendant la propagation.