Une fois rassuré, Ben Gunn explique à Jim comment il a été abandonné trois ans sur l'île, seul et isolé du monde, jusqu’à en perdre la tête.
Ben, qui était un pirate, accompagnait Silver et Billy Bones lorsque leur chef Flint enterra le trésor. Lors d’un autre voyage avec un autre équipage, Ben Gunn tente de retrouver le trésor. Ne l'ayant pas retrouvé, il a été maronné par ses amis à l’île.

Quatrième partie : Le fortin

Chapitre XVI : Comment le navire fut abandonné
Hunter déclare à Livesey, Smolett et le chevalier Trelawney que Jim avait gagné la terre avec Silver et sa bande. Ils se font du mauvais sang pour lui et craignent pour sa vie. Alors, Livesey et Hunter décident  d'aller à terre à leur tour pour chercher des nouvelles.Une fois à terre, Livesey découvre un fortin et trouve même une source d'eau douce. Il est attiré par un cri strident d’un homme tué. Croyant qu'il s'agissait de Jim, il revient au bateau pour chercher ses amis et embarquer les provisions.

Chapitre XVII : Le dernier voyage du petit canot

Le cinquième voyage n’était pas facile, le canot était surchargé (cinq hommes+les provisions). Les pirates restants sur le bateau attaquent le canot en tirant des coups de canon. Trelawney réussit à tirer sur l’un d’entre eux et le tuer, mais ses amis perdent les provisions et les armes du dernier voyage en essayant de gagner le rivage.

Chapitre XVIII : Fin du premier jour du combat

Les amis du docteur descendent sur terre et se dirigent vers le fortin. Ils s’y installent, mais ils sont attaqués par les hommes de Silver. Des coups de feu partent des deux camps. Un pirate tombe, mort, tandis que les autres font demi-tour.
Les amis du docteur sont plutôt satisfaits. Mais un coup de feu tue Tom Redruth  et réduit leur nombre. La pénurie de provisions se fait sentir et Jim rejoint ses amis dans le fortin.

Chapitre XIX : La garnison dans le fortin

Jim quitte Ben Gunn en lui promettant de plaider sa cause auprès du chevalier Trelawney afin qu’il puisse partager le butin avec eux et revenir chez lui à bord de l’Hispaniola.
Le jeune garçon retrouve ses amis dans le fortin .Chacun raconte à l’autre les évènements passés en son absence. Ils enterrent Tom Redruth et font une prière devant sa tombe.
Les chefs, Smollet, Trelawney et Livesey se réunissent en vue de prendre une décision. Après mûre réflexion, ils décident de ne pas baisser les bras et de combattre les pirates et les pousser à quitter l’île à bord de l’Hispaniola.
Faire la guerre était leur unique issue !

Chapitre XX : L’ambassade de Silver
Jim et ses amis sont étonnés de voir Silver en tenue de capitaine accompagné d’un de ses hommes arborant un drapeau blanc. Le capitaine Smollet va à sa rencontre. Silver explique à Smollet que leur victoire sur lui est due au fait que ses hommes avaient bu trop de rhume. Il exige de Smollet de lui rendre la carte .Ce dernier se met en colère. Le pirate passe alors aux négociations avec ses ennemis qui doivent choisir entre rendre la carte ou mourir. Devant cette nouvelle menace, Smollet montre à Silver que ses amis et lui ne craignent personne et s’ils veulent la guerre, ils l’auront. Silver s’en va sans oublier de menacer ses ennemis et de prononcer des jurons comme à son habitude.

Chapitre XXI : L’attaque

Le capitaine Smollett dirige ses amis qui ne sont pas tous de bons tireurs; mais ont le courage et la bravoure de tenir tête aux mutins.

Le capitaine demande aux autres de prendre place et de se défendre contre leurs ennemis. En attendant l'attaque des pirates, ils préparent leurs munitions, se reposent, mangent et prennent un peu d'eau de vie pour se donner de  la force.

Pendant ce temps, le capitaine prépare un plan de défense. Il distribue à  chacun sa place et sa tâche sans oublier de leur prodiguer des conseils et des directives d'une grande importance de peur de tomber dans le piège de Silver et sa bande.

Une heure plus tard, l'ennemi apparait, une bataille farouche éclate entre les deux camps. Blessé, Smollett perd Hunter et Joyce, cependant, ses hommes réussissent à faire fuir les mutins qui perdent cinq des leurs.

Cinquième partie : Mon aventure en mer

Chapitre XXII : Début de mon aventure en mer
Les amis de Jim profitent de la trêve afin de soigner les blessés. C’est le docteur Livesey qui s’en occupe. Après le déjeuner, le docteur part voir Ben Gunn, tandis que Jimemporte des biscuits, une paire de pistolets et quitte le fortin sans rien dire pour aller chercher l’embarcation de Ben Gunn que ce dernier a cachée sous une tente. Le moussaillon, ayant pris goût à l’aventure, prend alors une décision folle : aller vers l’Hispaniola, couper ses cordes afin qu’elle change de direction et que les pirates ne puissent plus l’utiliser.

Chapitre XXIII : A marée descendante

C’est la nuit, Jim trouve beaucoup de difficultés à manier le canot de Ben Gunn. La frêle embarcation tourne dans tous les sens à cause des vagues. Malgré tout, notre jeune homme atteint l’Hispaniola, un peu grâce à la marée, et parvient à couper ses amarres. Jim se suspend à une corde, se hisse et regarde à travers la fenêtre. Il surprend Israël Hands qui se bat avec son compagnon O’Brien. Ce n’est que plus tard que les deux, comprenant que le bateau bouge, arrêtent de se battre. Trop fatigué, Jim se laisse endormir dans le canot qui est sous l’emprise de la houle.

Chapitre XXIV : Le voyage du coracle
En se réveillant le matin, Jim constate qu’à son bonheur les vagues ont poussé la canot vers l’île. Il est à l’extrémité du sud-ouest de l’île au trésor. Il a pensé à pagayer vers le rivage et aborder, mais c’est presque impossible vu les rochers inaccessibles qui entourent l’île de ce côté-là. Impossible pour lui égalementde revenir à l’île car les vagues emportent le canot vers l’Hispaniola. Il décide donc de sauter dans le bateau après beaucoup de difficultés.

Chapitre XXV : J’amène le pavillon noir

Jim trouve O’Brien mort et Hands blessé suite à une dispute entre les deux. Le capitaine Jim conclut aves Hands un marché, il le soignera à condition qu’il lui indique les manœuvres à effectuer pour mener l’Hispaniola en un lieu sûr et abrité.

Chapitre XXVI : Israël Hands
Jim qui n’a pas du tout confiance en Hands, a raison, car  très vite Hands l’attaque et veut le tuer à l’aide d’un couteau qu’il a caché sous sa vareuse. Toute tentative d’attaquer ou de se défendre est difficile car le bateau continue à être tiré par le courant avant de toucher le fond et chavirer sur bâbord. Jim arrive quand même à charger ses deux pistolets. Hands voulant le tuer, le blesse à l’épaule .C'est là que Jim tire sur son ennemi. Celui-ci blessé à mort plonge dans l'eau.

Chapitre XXVII : « Pièces de huit ! »

Blessé à épaule, Jim arrive néanmoins à bander sa blessure et jeter le corps de O’brien par-dessus bord.Il quitte le bateau etatteint  l’île en pleine nuit. Il faisait sombre.

Arrivé au fortin, il pense faire une surprise à ses amis, mais il est accueilli par un cri strident qui répétait « Pièces de huit ! Pièces de huit ! »

C’était le perroquet de Silver ! Très vite ce dernier et sa bande le capturent.

Sixième partie : Le capitaine Silver

Chapitre XXVIII : Dans le camp ennemi
Silver fait savoir à Jim que ses amis ne veulent plus de lui et lui propose donc de rejoindre son camp. Il lui explique aussi que durant son absence, il a fait un marché avec Livesey qui a accepté de laisser le fortin, les provisions, l’eau-de-vie, le blockhaus à Silver à condition que ce dernier les laisse partir.
Jim, poussé d’un élan de courage, finit par avouer à Silver avec beaucoup de fierté qu’il sait tout à leur sujet depuis la nuit où il était dans la barrique de pommes, que c’est lui qui a caché la goélette. Les pirates veulent le tuer, mais il fait un marché avec Silver en lui demandant de le protéger en lui promettant de plaider en sa faveur une fois rentrés en Angleterre.

Chapitre XXIX : Encore la tache noire
Les pirates ne sont pas du tout d’accord avec Silver qui défend de plus en plus Jim. Ils voient cela d’un mauvais œil. Réunis en conseil, les pirates font la rébellion et décident de lui remettre la tâche noire. Mais quand Silver leur avoua, triomphant, qu’il est en possession de la carte au trésor, les inimitiés se calment.

Chapitre XXX : Prisonnier sur parole

Le lendemain, le docteur Livezey rend visite aux mutins dans le fortin pour un rendez-vous médical. Etonné par la présence de Jim, il demande à lui parler en privé et se place à l'extérieur de la palissade du fortin tandis que Jim est contraint de rester à l'intérieur. Le docteur lui fait des reproches avant d’apprendre qu’il a sauvé le navire et qu’il l’a caché des pirates. Livesey lui propose de s'enfuir avec lui, mais il refuse à cause de la promesse donnée à Silver de ne pas s'enfuir.

Accusé par ses camarades de jouer un double jeu, Silver a eu la promesse du docteur de l’aider s’il veille sur Jim.

Chapitre XXXI : Le point de repère de Flint

Après le départ du docteur Livesey, Silver ne cache pas sa joie à Jim car il l’a vu refuser l’offre de son ami de fuir. Le vieil homme demande alors au jeune garçon de rester ensemble et de s’entraider en cas de besoin. Les pirates décident de partir à la recherche du trésor avec Jim comme otage.

Chemin faisant, ils découvrent le squelette d’Allardyce (l’un des marins tués par Flint) orienté en direction de l’îlot. C’est sûrement leur ancien chef qui a mis cet indicateur ainsi. Ils continuent leur chemin l’esprit troublé par le souvenir de Flint.

Chapitre XXXII : La voix dans les arbres

Silver et sa bande se reposent. Soudain, ils entendent une voix aiguë, venant du milieu des arbres, chanter la vieille rengaine. Epouvantés, ils pensent à l’esprit de Flint, mais ils ressaisissent vite et se remettent en marche.Silver garde Jim auprès de lui en suivant les autres pirates qui se précipitent rapidement vers la cache du trésor qu’ils trouvent vide.

Chapitre XXXIII : La chute d’un chef

Choqué par la disparition du trésor, tout le monde est à bout de nerfs. Excepté Silver qui garde son sang froid et remet à Jim un pistolet pour se défendre en cas d’attaque. Justement, l’un des pirates vise pour tirer sur Jim et Silver. Soudain, des coups de feu partent des buissons. C’étaient le docteur Livesey, Gray et Ben Gunn. Merry et un autre pirate meurent sur le coup et les trois autres s’enfuient.
Silver et les amis de Jim descendent la colline pour rejoindre le chevalier et Smollett restés dans la caverne de Ben Gunn. Jim apprend que ce dernier avait tout manigancé et avait caché le trésor deux mois avant l’arrivée de l’Hispaniola. Raison pour laquelle le docteur avait remis la carte, devenue inutile,  à Silver.

Chapitre XXXIV : Et dernier

Après l’embarquement du trésor qui a duré quelques jours, le reste de l’équipage quitte l’île en  y abandonnant les trois pirates. A une première escale dans un port de l’Amérique espagnole, Silver s'enfuie à jamais avec une partie du butin. Le reste du trésor est divisé à Bristol entre les cinq rescapés et Ben Gunn. Chacun a eu sa part dont il profitera selon sa nature.