Costruito per vigilare sulla foce della Charente, sulla rada dell'isola di Aix e sull'arsenale di Rochefort, serviva per rafforzare il sistema di difesa edificato lungo il litorale e sulle isole della Charente-Maritime. L'avventura della costruzione, voluta da Napoleone, durò 30 anni, di cui 20 per le sole fondamenta...
L'impresa fu difficile: prima le tempeste, che rovinarono le mura ancora incompiute, poi il capovolgimento delle imbarcazioni che trasportavano le pietre, infine gli attacchi inglesi. I lavori faticarono ad avanzare e finirono solo nel 1859. Napoleone non ne vide mai la conclusione, nemmeno quando lasciò l'isola di Aix per l'esilio. I progressi dell'artiglieria, più rapidi di quelli della costruzione, lo resero inutile non appena completato. Costò l'equivalente attuale di oltre duecento milioni di euro. Rappresentava la fierezza dell'epoca, al punto che ne venne presentato un modellino all'esposizione universale del 1867.
Fort Boyard venne utilizzato come prigione prima di andare in rovina nel 1913. Abbandonato dall'esercito, fu messo in vendita nel 1961 per 7.500 franchi dell'epoca. Solo due acquirenti si fecero avanti, ma colui che infine se lo aggiudicò sembrava non avere né i mezzi né il tempo per occuparsi della sua nuova proprietà. Il cinema utilizzò questo luogo in varie occasioni, ma fu infine la televisione a salvare Fort Boyard. Proprietà del Consiglio Generale della Charente-Maritime dal 1989, ha conosciuto una carriera mediatica nazionale e internazionale dal momento della prima diffusione, nel 1990, della trasmissione televisiva "Fort Boyard".
In più, oggi alcune crociere permettono di transitare ai piedi del colosso, simbolo della ricchezza del patrimonio della Charente-Maritime.