Ellesbo var under 1700-talet en bostad åt kommendanten på Bohus fästning. Gården, som då låg i Rödbo socken, övertogs 1790 av landskamreren Fredrik Magnus Åkerman. Byggnaden och delar av inredningen samt den anslutande trädgården ritades av stadsarkitekten Carl Wilhelm Carlberg i början av 1790-talet, och som cirka tio år tidigare skapat Gunnebo Slott.

År 1796 var den nya huvudbyggnaden klar på Ellesbo. Den blev då familjen Åkermans sommarbostad. Den utformades av bildhuggaren Gioacchino Frulli år 1795–1796 i en italienskinspirerad stil med terrasser från villan ned mot vägen och Göta älv. Han högg marmorstatyer åt Ellesbo.

År 1824 såldes Ellesbo till Åkermans son, som var borgmästare i Mariestad. Denne behöll dock inte herrgården längre än två år utan sålde Ellesbo till grosshandlare Martin Wilhelm Rhedin på Surte glasbruk. Han lät utvidga och komplettera både trädgården och parken.

Omkring år 1850 genomfördes en större ombyggnation, år 1898 inreddes byggnaden som året-runt-bostad och i början av 1900-talet utökades huset med flera tillbyggnader, samt en balkong. Werner Rhedin som ägde Ellesbo år 1892-1924 utvidgade och kompletterade även både trädgården. Han utförde omfattande planteringar med många slag av främmande och sällsynta trädarter.

På 1880-talet förekommer Ellesbo herrgård i Surtes historia då Missionsförsamlingen i Surte inte fick ha sina väckelsemöten på brukets område, vare sig de hölls utomhus eller i någons hem – allt för att stoppa den nya rörelsen. Lars Jönsson, som var trädgårdsmästare på Ellesbo, lyckades dock få tillåtelse att hålla möten i Ellesbo till stor glädje för de troende. Här höll man till under sommaren och när hösten kom samlades man i makarna Jönssons hem.

Under åren 1924–1946 innehades Ellesbo av Willinska fattigfriskolan, som drev sin verksamhet här fram till 1946. På Ellesbo hade skolan internat för fattiga barn som undervisades i bland annat träslöjd och trädgårdsskötsel. År 1946 tog major A. Jacobsson över gården. Han lät restaurera huvudbyggnaden efter ritningar av arkitekten Anders Funkquist. Då revs de tillbyggda sidopartierna.

Huvudbyggnaden är av trä i två våningar. Mot trädgården har mittpartiet en altan med kolonner som bär en balkong. Interiörens mest intressanta delar är de tre rum i bottenvåningen som har kvar den ursprungliga karaktären från 1970-talet. De har tidstypiska snickerier och elegant dekorerade kakelugnar som är i original. I salen står en stor ugn med flerfärgad rik blomsterdekor. Salongen har en så kallad kolonnkakelugn med dekor i violett. I det tredje rummet finns en ugn, som har blå dekor.

I trädgården finns flera sällsynta träd och många av imponerande ålder, exempel några åldriga jättelika ekar. Trädgården smyckades med marmorskulpturer, karpdammar och olika exotiska växter. De fyra höga ekarna, som är över 500 år gamla, har ansats och formklippts med en krona i toppen och en längre ner för att utsikten skulle bli storslagen. Gången i trädgårdens mittaxel avslutas vid en järngrind. Hit leder en parkväg ner genom trädgården. Tidigare fortsatte den med en allé till en brygga vid Göta älv. Här fanns då en färjeöverfart till Surte.

Carlberg ville ha raka linjer i sina anläggningar. Han ville omforma naturen. De ståtliga ekarna ville man ha kvar, och därför rättade man sig alltså efter dem vid planläggningen av området.