Connolly 1868. október 28-án született Dél-Bostonban, a Notre Dame Academy után a Mather and Lawrence gimnáziumba járt, onne került be a bostoni Harvard egyetemre.
A korábban futballozó és a kerékpározó sportember figyelemmel kísérte a Nemzetközi Olimpiai Bizottság megalakulását és törekvéseit, és amikor kiderült, hogy 1896. április 6-15-e között Athénban rendezik az olimpiát, úgy döntött, részt vesz a viadalon.
Emiatt benyújtott egy kérelmet az egyetem vezetése felé, amelyben engedélyt kért, de a rektor elutasította. A legenda szerint azt közölték vele, iratkozzon ki, majd a következő évben jelentkezzen ismét. Connolly erre állítólag azt válaszolta: "Nem iratkozom ki, nem jelentkezem ismét. Inkább elhagyom a Harvardot azonnal. Jó napot!"
Hogy igaz a történet vagy nem, nem tudni, a Harvard feljegyzéseiben annyi szerepel, hogy a rektori elutasítás után Connolly kérvényezte távozását az egyetemről, ezt 1896. március 19-én szentesítették is.
A sportoló a Suffolk Athletic Club képviseletében és anyagi támogatásával indult útnak a Barbarossa nevű német teherhajóval - bár Connolly később visszaemlékezéseiben azt írta, saját költségén ment az olimpiára -, Nápolyban azonban kirabolták, és csak hosszas üldözés után tudta visszaszerezni Athénba szóló jegyét.
Végül vonattal a megnyitó előtti napon esett be a görög fővárosba. Április 6-án nemcsak a megnyitóra került sor, de a hármasugrásra is. Connolly 44 láb, 12 hüvelykes (13,71 m) ugrással nyert a francia Alexandre Tuffére előtt, a negyedik helyen a magyar Szokolyi Alajos végzett 11,16 méterrel. A legutóbbi, pekingi olimpián a portugál Nelson Évora 17,67 méterrel győzött a férfiaknál.
Athénban még egy-egy második és harmadik helyezést is elért magas-, illetve távolugrásban, az 1900-as párizsi játékokon pedig címvédőként lett második hármasugrásban.