A kaliforniai Terrance-ből érkezett Nelson gyermekkora óta szereti az olimpiát: első ízben 1932-ben Los Angelesben látogatott ki a játékokra, majd minden ezt követő olimpiára elutazott, kivéve az 1936-os berlinit, amikor még iskolás volt.
A hobbija áldozatokkal is jár: Nelson még a nászútját is elhalasztotta, hogy 1956-ban elutazhasson Melbourne-be. "A feleségem, Dee igen megértő, hiszen a könnyűatlétika-versenyek nézése közben találkoztunk. Számára London a 12. olimpia, amit együtt nézünk meg" - mondta az agg szurkoló, aki a bojkott ellenére az 1980-as moszkvai játékokra is elutazott.
Nelson emlékszik az 1948-as londoni olimpiára is: "Sokan voltak elkeseredettek, a várost előtte lebombázták, minden szürke volt".
Arra a kérdésre, hogy 2016-ban elutazik-e Rio de Janeiróba is, Nelson kitérő választ adott: "Kilencvenévesen már nem tudja az ember, mit hoz a holnap. Ezért mondom a fiataloknak, hogy minden napból ki kell venni a lehető legtöbbet, mert egy életet csak egyszer lehet leélni" - tette hozzá.