Holger Olsen er fra København og født den 21. januar 1921. Hans første klub var Boldklubben Frem. I 1949 fik Holger sin A-landsholdsdebut mod Finland i København, Danmark. Kampen endte med et dansk nederlag på 0-2. Holger Olsen har spillet 1 kampe for det danske A-landshold.