Davis az 1960-as, római játékokon 400 méteren és a 4x400-as váltó tagjaként is aranyat nyert, pedig csak 26 éves korában kezdett versenyezni, és mindössze kilencszer futotta le az egykörös távot az ötkarikás játékok előtt.
Davis az amerikai légierő csapatában, majd az Oregon Egyetemen kosárlabdázott, utóbbinál ismerkedett meg az atlétikával, azon belül a magas- és távolugrással kezdte pályafutását, mielőtt a sprintszámokra váltott.
A fiatal amerikai tehetségnek mindössze két évre volt szüksége az áttöréshez, Rómában pedig a német Carl Kaufmann-nal együtt 44.9 másodperc alatt értek be, így végül célfotó döntött a győzelemről. Két nappal később ismét az ő párharcukon múlt a 4x400-as váltó olimpiai bajnoki címe, Davis pedig újra felülmúlta német vetélytársát, ráadásul az amerikai váltó 3:02.2 perces világrekorddal diadalmaskodott.
Otis Davis az olimpia utáni évben visszavonult, tanárnak, edzőnek és mentornak állt. Az 1996-os atlantai olimpián tagja volt a fáklyaváltónak.