Hester Grays Garten war der ehemalige Garten von Hester Gray und wurde von einer mit Gras und Moos bewachsenen Steinmauer umschlossen. Im Gras des Gartens wuchsen gelbe und weiße Narzissen.
Ihr Ehemann Jordan Gray legte ihn für Hester an. Hester liebte ihren Garten und arbeitete gerne dort. Sie pflanzte Blumen und Kirschbäume und nur Mrs Barry und Rachel Lynde besuchten Hester und Jordan. Nach einiger Zeit wurde Hester krank und konnte nicht mehr in ihrem Garten arbeiten. Jordan wickelte sie jeden Tag in ein Tuch und trug sie zu einer Bank im Garten, auf die er sie legte, sodass sie sich ihren Garten wenigstens anschauen konnte. Eines Tages pflückte Jordan alle Rosen und bedeckte die 22 Jahre alte Hester damit. Daraufhin starb Hester.
Im Mai 1882 entdeckten Anne Shirley, Diana Barry, Jane Andrews und Priscilla Grant den Garten, als sie Annes 17. Geburtstag feierten und durch die Natur von Avonlea streiften. Diana erzählte den anderen die Geschichte von Hester. In den Sommerferien besuchte Anne Hesters Grab auf dem Friedhof von Avonlea und legte Rosen aus Hesters Garten darauf.
Nach Annes Studium am Redmond College machte sie mit Gilbert Blythe einen Spaziergang zu Hester Grays Garten, auf dem sie seinen zweiten Heiratsantrag annahm.
Im Jahr 1899 wurde John Blythe, Gilberts Vater, beerdigt. Anne und Diana besuchten Hesters Garten. Seit ihrer Hochzeit war Diana nicht mehr dort gewesen.