Ekholmen var förmodligen den i forna tider mest besökta delen av Älgö på grund av dess unika läge vid den gamla segelleden som gick genom Fällströmssundet. Förr i tiden rundade båtarna Ekholmen på sin färd från Erstavik till Baggensstäket, mindre båtar kunde även ta sig genom det smala sundet mellan Ekholmen och Älgö.

Holmen var en mellanstation för södra skärgårdens fiskare som med sin fångst var på väg till och från Fiskarhamnen i Stockholm. På holmens insida fanns en bra hamnplats och en sjökrog för de resande. Vi vet inte med säkerhet hur gammal krogen var, men den kanske fanns redan 1649 efter gästgiveriordningens påbud om att upprätta krogar och rastställen för resanden.

Tre av sjökrogarna, den på Fjäderholmarna, den vid östra Baggensstäket och den på Älgö kallades i folkmun för Morgon, Middag och Kväll. Fiskarna kom från öarna tidigt på morgonen forsande i sina sprisegelbåtar och med sin färska fisk in till Fiskarhamnen. När fisken var såld skyndade de sig hemåt igen. Ofta åt de morgonmål på Fjäderholmarna och middag på krogen vid Stäket och kanske kvällsmat på Ekholmskrogen innan de fortsatte ut i skärgården. Om de inte hann hem på grund av dåligt väder kunde de övernatta på Ekholmen. Där serverades mat och dryck och där fanns granrisbäddar att sova på.

När ryssen härjade i skärgården sommaren 1719 satte de Ekholmskrogen i brand liksom andra byggnader på öarna och stränderna. Krogen byggdes dock omedelbart upp igen.

Naturligtvis växer det många ståtliga ekar på holmen. På södra sidan står en ek som är den största på Älgö. Ekholmseken är så pass gammal, garanterat drygt 300 år, att den växte här när ryssarna eldhärjade Stockholms skärgård. Krogen brann ner till grunden, men eken klarade sig.