Krzyzewski, mint a sportvilágban járatosak számára a nyelvtörőnek beillő mássalhangzó torlódásból sejthető, lengyel szülők gyermekeként látta meg a napvilágot Chicagóban 1947-ben. Katolikus neveltetést kapott, majd a seregben tanult tovább, 1969-ben a West Point-i katonai akadémián diplomázott, ahol természetesen tagja volt a kosárlabda-csapatnak, amellyel utolsó, azaz senior évében bejutott az országos bajnokság négyes döntőjébe. A következő öt évet egyenruhában töltötte, az amerikai hadsereg tisztjeként szolgált, leszerelését követően pedig azonnal edzőnek állt. Előbb az Indiana Egyetemen töltött egy évet, majd 1975 és 80 között az Army, azaz a sereg csapatát irányította, mígnem 1980-ban átvette a Duke Blue Devils vezetését, és az egyetem kosárlabda-programjának irányítását.
1980. március 18. nagy nap volt Krzyzewski életében és a Duke történelmében is:
Az egyetemi rendszerben 1905 óta szereplő csapatnak a '60-as években volt egy felfutása, akkor rendre bejutott a rájátszásba, háromszor a Final Fourba is, országos bajnokságot azonban egyszer sem sikerült nyernie.
Az érkezése előtt pocsék Army élén elért 73-59-es mérlege, valamint a csapat látványos fejlődése győzte meg Tom Butterst, a Duke sportigazgatóját, hogy leigazolja "a legfényesebb tehetségű amerikai edző"-t. Butters az új edzőt bemutató sajtótájékoztón leszögezte, hogy Krzyzewski volt az egyetlen jelöltjük Bill Foster helyére, míg a kiszemelt egy héten belül háromszor is megfordult Durnhamben, jelezve, hogy nagyon is érdekli a felkínált állás. Krzyzewski nem beszélt mellé, miután aláírta új szerződést, kijelentette:
Nem lepődtem meg, hogy engem választottak, mert ez pont a nekem való állás.
Mellette szólhatott az is, hogy ekorra már túl volt a nemzetközi bemutatkozáson is: az 1979-es Pán-Amerikai Játékokon egyik edzői példaképe, Bob Night asszisztenseként nyert aranyérmet a csapattal, amelyben olyan sztárok szerepeltek, mint Kevin McHale, Isiah Thomas vagy Ralph Sampson.
Krzyzewski egy középszerű csapatot vett át, amelyik 1978 és 80 között ugyan rendre bejutott a rájátszásba, de korántsem számított meghatározó együttesnek. És kezdetben a fiatal edző kezei alatt sem volt az, hiszen egészen 1984-ig kellett várni az első play-off szereplésre. Ezt követően azonban nem volt megállás:
a 2019-ig lejátszott 35 szezonból 34-szer rájátszásba jutott a Blue Devils.
Idén 13. alkalommal szerepelnek a Final Fourban, amivel Coach K megdöntötte az UCLA edzőjének, a tíz bajnoki címet nyerő John Woodennek a rekordját. A kevés közül ez a tizes lesz az egyik rekord, amit nem Kryzezwski fog tartani karrierje utolsó meccse után.