Holger Andersen blev født i 1890 i Haderslev. Hans far var læreruddannet fra Tønder Seminarium og ansat ved det tyske skolevæsen i Haderslev. Moderens forfædre var indvandret fra Sydtyskland. I 1908 blev Holger Andersen student. Han studerede derefter ved universiteterne i Jena, Halle, Berlin og Kiel, hvorfra han i 1913 tog teologisk embedseksamen. Under 1. verdenskrig opholdt Holger Andersen sig i Danmark, hvor han bl.a. var medarbejder ved Ribe Stiftstidende. Endvidere skrev han artikler til "Grænsevagten" og "Ugens Tilskuer" om sønderjyske emner.

I 1919-1920 var han en af lederne af det danske afstemningsarbejde i Zone 2, bl.a. som medredaktør af det tysksprogede, men dansksindede tidsskrift "Unser Land".

I maj-juni 1920 var han sammen med sin bror Johannes Andersen medlem af Den mellemslesvigske delegation, som frembragte ønsket om en internationalisering af Zone 2 for Den internationale Kommission i Paris. Holger Andersen tilsluttede sig i denne periode Dannevirkebevægelsen, men i løbet af 1920'erne og 1930'erne fik han et mere nøgternt syn på Slesvigligaen.

Efter Genforeningen blev Holger Andersen valgt til Folketinget for Det konservative Folkeparti, hvor han i høj grad engagerede sig i sønderjyske anliggender. Holger Andersen gik ud af Folketinget i 1932.

Holger Andersen blev i 1943 valgt til formand for Grænseforeningen, en post han besad til sin død i 1961. Det var hans fortjeneste, at foreningen efter besættelsen ikke blev sprængt på spørgsmålet om, hvorvidt Grænseforeningen skulle kræve grænserevision. Hele dette forløb er beskrevet i Johan Peter Noack: "Det sydslesvigske grænsespørgsmål, 1945-1947".

Holger Andersen er portrætteret af bl.a. Harald Slott-Møller (udstillet i klubværelset på Flensborghus) og af Hans Christian Bärenholdts (billedsalen på Folkehjem i Aabenraa). 

Kilde: "Det Nationale Portrætgalleri på Folkehjem". Sprogforeningen og Historisk Samfund for Sønderjylland, 2005.Grænseforeningens øvrige formænd: Frederik Vinding Kruse, Hjalmar Ulrich, H.P. Hansen, Frederik Heick, Erik Haunstrup Clemmensen, Arne Fog Petersen, Eskild Friehling, H.P. Clausen, Viggo Witt-Hansen, Jørn Buch, Bent A. Koch, Torben Rechendorff, Finn Slumstrup.