Das Pfarrhaus von Avonlea wurde im Sommer 1877 in Avonlea gebaut. Weil es bei der Ankunft des Pfarrers Mr Allan und seiner Ehefrau noch nicht fertig war, wohnten die beiden am Anfang bei Rachel Lynde.
Als Mr und Mrs Allan im Pfarrhaus wohnten, besuchte Anne Shirley Mrs Allan öfter und die beiden wurden gute Freundinnen. Nach Matthew Cuthberts Tod sagte Mrs Allan zu Anne, dass Matthew am glücklichsten war, wenn Anne lachte und zufrieden war.
Nachdem Mr und Mrs Allan Avonlea verlassen hatten, sagte Anne zu Diana Barry, dass sie das Aussehen des Pfarrhauses mit seinen geschlossenen Fensterläden als einsam und verlassen empfand]].