Ötgyermekes parasztcsaládban született, apját tizenöt éves korában vesztette el. Az öt testvér közül csak a legidősebb tanulhatott: ügyvéd lett, s akkor már ő támogatta öccseit. Galamb József az elemit és a középiskolát Makón végezte, majd Szegeden ipariskolába járt, s jó képességeinek köszönhetően a harmadik osztály befejezése nélkül felvételt nyert a budapesti Állami Felső-Ipariskolába, ahol a mai üzemmérnöki képesítésnek megfelelő oklevelet szerzett.
Első munkahelye, a Diósgyőri Vasgyár műszaki rajzolóként foglalkoztatta, ám csupán rövid ideig, mivel Galamb 1901-ben önként bevonult a haditengerészethez, parancsnoka Horthy Miklós sorhajóhadnagy volt. Galamb érdeklődését felkeltette a születőben lévő autógyártás, ezért leszerelése után Aradon, a Magyar Automobil Rt.-nél helyezkedett el, majd vállalati ösztöndíjjal németországi tanulmányutat tett, s a Majna-Frankfurtban lévő Adler Autógyár alkalmazottja, motor-összeszerelője lett. Bátyja anyagi segítségével 1903-ban áthajózott Amerikába, mert látni akarta Saint Louisban az autó-világkiállítást (1904). A látottak olyan mély hatást tettek rá, hogy nem tért vissza Európába, hanem Clevelandben elhelyezkedett a Stearn's Automobil Companynél.
1905 őszén egy Detroitban tett látogatás alkalmával úgy döntött, hogy az autógyártás fellegvárában marad. Három munkalehetőség közül a Fordot választotta, így 1905. december 11-én, mint tervező kezdett dolgozni a mindössze két éve alapított, 300 alkalmazottat foglalkoztató cégnél. Henry Ford - vagy ahogy Upton Sinclair nevezte őt: a "Tragacskirály" - hamar felfigyelt a tehetséges magyar tervező precíz rajzaira, egy idő után rendszeresen figyelemmel kísérte munkáját. Galamb dolgozott a K- és az N-modellen, mielőtt Ford felkereste terveivel egy olcsó, könnyen kezelhető népautó ötletével: "Joe, új autót szeretnék tervezni. Készíts elő magadnak egy külön szobát a harmadik emeleten. Vidd fel a rajztábládat és egy palatáblát, és kezdjünk el dolgozni az új típuson" - szólt Henry Ford utasítása.
Galamb első feladata egy új tengelykapcsoló kifejlesztése volt, a híres bolygóműves váltón fél évet dolgozott. Elképzeléseit fekete iskolai táblára vázolta fel, mialatt Ford hintaszékében ülve figyelte a munkát, s hozzászólt a részletekhez. Másfél évi megfeszített munka után, 1908. október 1-jén legördült az első eladásra szánt példány a gyártósorról (Galamb mellett egy másik magyar, Farkas Jenő is ott bábáskodott a tervezésnél).
A Model T-nek nevezett és Tin Lizzie-ként (Bádog Böskeként) híressé vált autó átformálta Amerika és az autózás képét. Húsz évig gyártották az egyszerűen kezelhető, megbízható és kedvező árú T-modellt, összesen 15 és félmilliót adtak el belőle, s 1997-ben egy nemzetközi szakzsűri az Évszázad Autójának választotta.