Son père est A. Crosby Anderson, directeur d’une école privée, sa mère est Inez Evora (née Shannon) Anderson (pianiste douée, celle-ci doit abandonner son instrument à la suite d'une arthrose précoce). Son père obtient un poste au Michigan Agricultural College (aujourd’hui l’université de l'État du Michigan) alors qu’Edgar n’avait que trois ans. Celui-ci s’intéresse très tôt à la botanique.