Les Romains en font un comptoir sur un embranchement de la voie Aurélienne, puis la seigneurie, appelée Agaï en provençal et Agay en français passe aux évêques de Fréjus au Moyen Age.
Le premier village a été créé en 1636 autour d’un château construit par ordre de Richelieu pour la défense des côtes de Provence par Jean-Vincent de Roux à qui les évêques de Fréjus cèdent la terre. Il a été détruit par l’armée d’occupation en mai 1944 et seules les bases des anciens remparts du fort à la Vauban sont demeurées au bout de la plage.
Le développement d’Agay et la création de la station balnéaire est lié à l’arrivée du chemin de fer en 1864 et aux premiers touristes entre deux stations très connues et mondaines, Cannes et Saint-Raphaël. Agay est beaucoup plus calme et accueille des écrivains, des peintres comme Alphonse Karr, Guy de Maupassant, Jean Aicard, Maurice Donnay, Guillaumin ou Valtat.
C’est alors l’époque de la saison d’hiver, de touristes qui viennent pour le climat de la Côte d’Azur bénéficiant d’un ensoleillement et d’une luminosité exceptionnelle, pour les mimosas en fleur, les carnavals.
Après la première guerre mondiale, se développe le tourisme d’été, lié aux bains de mer, et voit l’ouverture de l’hôtel de La Baumette un des plus chics de la côte d’Azur. Y séjournent toutes les vedettes et écrivains célèbres du monde entier.
Les Roches rouges par Guillaumin (1901)
L'entrée du vieux château d'Agay
Plan de la baie d'Agay au XVIIIème.