Jedlik István néven a Komárom megyei Szimőn (ma Zemné, Szlovákia) született egyszerű földműves családban. Apja három év otthon tanítás után, tízéves korában küldte a nagyszombati bencés gimnáziumba. Tanulmányait a rend pozsonyi iskolájában fejezte be, ahol németül is megtanult. Tizenhét évesen unokatestvérével, a költő és nyelvtudós Czuczor Gergellyel lépett be a bencés rendbe, ekkor kapta az Ányos nevet. 1818-tól két évig filozófiai tanulmányokat folytatott a rend győri líceumában, majd 1822-ben Pesten bölcsészetből doktorált. 1825-ben szentelték pappá, ettől kezdve a győri bencés gimnáziumban természettant, majd a győri líceumban fizikát tanított. 1831-ben a pozsonyi királyi akadémiára helyezték át, 1840-től a pesti tudományegyetemen adott elő, rövid ideig az egyetem rektora is volt.
A szabadságharc idején beállt nemzetőrnek, a bukás után visszavették ugyan az egyetemre, de csak németül taníthatott. Az 1860-tól magyar nyelven oktató Műegyetem tanáraként írta A természettan elemei, valamint Hőtan és Fénytan című tankönyveket. A Magyar Tudományos Akadémia 1858-ban a levelező tagságot átugorva választotta meg rendes tagjának, 1873-ban az MTA tiszteleti tagja lett. A kiegyezés után, 1867-ben tanácsosi címet és Vaskorona-rendet kapott, számos tudományos szervezet, egyesület munkájában vett részt. 1878-ban nyugalomba vonult és visszatért Győrbe, de továbbra is dolgozott, olvasta a fizikai szakirodalmat. Kilencvenöt éves korában, 1895. december 13-án halt meg.
Jedlik legismertebb felfedezése az "egysarki villámindító", azaz az első unipoláris gép, ezzel való kísérletezései során fedezte fel a dinamó-elektromos elvet, hat évvel megelőzve Siemenst. Találmányának leírását 1861-ben elküldte egy német lapnak, amely visszautasította, mondván: a gondolat nem új és az olvasók nem fogják megérteni. A kedveszegett Jedlik ezután nem publikált külföldön, ezért világszerte Siemenst tekintik a dinamó feltalálójának.
Elkészítette a "villanydelejes forgonyt", az első, tisztán az elektromágneses hatás alapján működő elektromotort, cáfolva az akkoriban közkeletű véleményt, hogy elektromágnesek kölcsönhatását nem lehet forgó mozgás keltésére felhasználni. E találmányát sem ismertette, mert megfelelő áramforrás hiányában nem tulajdonított neki gyakorlati értéket, s kézenfekvő volta miatt feltételezte, hogy már mások is megvalósították. "Csöves villámszedőkből alkotott villámfeszítője" a feszültségsokszorozó lökésgenerátorok előfutára volt, ezzel több mint félméteres elektromos ívet tudott létrehozni.
Megszerkesztette a világ akkor legtökéletesebb fénytani rácsait (ez olyan üveglap, amelyre hajszálvékony párhuzamos karcokat húznak, így a rá eső fehér fényt a prizmához hasonlóan színekre bontja), "osztógépe" centiméterenként 150 vonalat karcolt az üvegbe. "Rezgési készülékével" bonyolult, a papírpénzeken látható biztonsági rajzolatokat lehetett készíteni. Foglalkozott galvánelemek tökéletesítésével, készített áramszabályozót ívlámpához és villamos forgonnyal hajtott kiskocsit.
Legelterjedtebb és mindenütt jelen lévő találmányát fiatalon, mintegy mellékesen konstruálta. Állítólag 1826-ban a rendházban arról beszélgettek, milyen jó lenne ebéd után friss ásványvizet inni. Jedlik hamarosan előállt a "bökősvíz" (szódavíz) készítésére szolgáló eszköz terveivel, az első szikvízüzem 1829-ben létesült. Jedlik nem szabadalmaztatta találmányát: "nem gyáros vagyok, hanem tanár" - mondta.
Jedlik Ányos volt az első, aki a pesti egyetemen 1848-tól magyar nyelven adott elő fizikát. Fizikai, kémiai és matematikai szókincsünk nagy része tőle ered, ő vezette be például a dugattyú, eredő, összetevő, huzal, merőleges, nyomaték, vetület szakszavakat. Állítólag amikor közeledni érezte halálát, így búcsúzott rendtársaitól: "Hamarosan a Teremtőm előtt fogok állani, és végre megtudom, mi a fény és elektromosság..."
Az 1996-ban alapított Jedlik Ányos-díjjal a kimagaslóan sikeres feltalálói tevékenységet, valamint a kiemelkedő színvonalú és hatékonyságú iparjogvédelmi munkásságot ismerik el. Győrben és szülőfalujában múzeuma van, nevét egy tudományos társaság mellett utcák, iskolák, intézmények és Győrben egy híd viseli.