Les naines rouges et les naines brunes se forment comme les autres étoiles. Dans une région dense d'une nébuleuse, des grumeaux peuvent être présents, et presque sur le point de s'effondrer. Il suffit alors d'une perturbation peu important pour qu'ils débutent leur contraction.
Jusque là leur stabilité était assurée par leur température : l'agitation des molécules suffisait à empêcher la gravité de prendre le dessus. Dès que cet équilibre est rompu, il faut attendre qu'un nouveau s'établisse. Sachant qu'une masse de gaz qui se contracte se réchauffe par la même occasion, on voit qu'il y aura bien un moment où la gravité sera contrecarrée.
Pour les naines rouges, cette nouvelle stabilité s'installe alors qu'il fait assez chaud au coeur de l'étoile pour que les noyaux d'hydrogène fusionnent. Ces réactions de fusion libèrent de l'énergie sous forme de lumière, qui participe elle aussi au "combat contre la gravité" en s'échappant de l'étoile.
Ce n'est pas le cas pour les naines brunes. Elles parviennent bien à retrouver une stabilité quand elles sont compactées et réchauffées, mais il ne fait pas assez chaud en leur centre pour allumer le four nucléaire des autres étoiles. Ce sont véritablement des étoiles ratées. Pour la petite précision, ces étoiles ne sont pas vraiment brunes, mais rouge très foncé tirant un peu sur le mauve-fuschia...
Une naine rouge a une masse inférieure à 0,075 fois la masse du Soleil. Au-delà de cette masse, la contraction du grumeau gazeux à l'origine de l'étoile est suffisamment efficace pour permettre aux réactions de fusion nucléaire de démarrer. En-dessous de 0,075 masses solaires, une étoile ne parvient pas à faire fusionner l'hydrogène car elle n'est pas assez chude en son centre. C'est une naine brune.
Une naine blanche est un astre sensiblement différent des deux autres, mais on peut s'aider des explications qui précèdent. A la fin de sa vie, une étoile légère (de 0,7 à 8 fois la masse du Soleil) voit s'éteindre les réactions de fusion nucléaire. Le problème est que celles-ci participaient à la stabilité de l'étoile et elle perd donc là une voie efficace d'empêcher son effondrement sur elle-même. La contraction du coeur de l'étoile recommence donc.
La force qui va s'opposer à cet effondrement final est électrique. En effet, dans la nébuleuse qui donne naissance aux étoiles, les atomes sont encore entiers, et les atomes entiers sont des objets neutres au point de vue électrique. Ils ne peuvent ni s'attirer ni se repousser comme le font des aimants par exemple. Dans une étoile par contre, les atomes sont cassés, et leurs constituants sont séparés : des noyaux (dont une partie a fusionné pour faire briller l'étoile) et les électrons, qui n'ont pas eu de rôle particulier.
La situation change après la mort de l'étoile : ce sont les électrons qui vont la soutenir et finalement permettre à l'étoile de retrouver une nouvelle stabilité, car ils se repoussent entre eux.
Une naine blanche est le coeur d'une étoile débarrassée de ses couches externes, elle est donc très chaude (jusque 100 000 degrés parfois), ce qui lui vaut sa couleur blanche. Une naine blanche se refroidit au fil des milliards d'années et change de couleur, mais elle garde son nom : on connaît des naines blanches qui sont rouges !
Il reste le type des naines noires, qui sont des naines brunes trop froides pour émettre de la lumière. Elles n'existent pas encore car l'Univers lui-même n'est pas assez vieux pour avoir permis à des naines blanches de se reforidir au point de devenir noire.
Pour finir, je dois signaler que le terme "naine" n'est pas un terme qui a une valeur d'absolu : les étoiles sont naines par rapport au Soleil. Imagine qu'à la place de comparer toutes les étoiles au Soleil, nous les compariions à partir des plus légères. Une seule catégorie d'étoile mériterait son nom de naine, les naines brunes, qui ne sont pas des étoiles au sens où on l'entend communément. Dans le même ordre d'idée, on pourrait aussi considérer les étoiles à neutrons et les trous noirs comme des étoiles naines, elle sont simplement dans un état de ciompaction encore plus exacerbé que les naines blanches et résultent elles aussi de la fin d'une étoile.