A bolsevik rendszer az 1917. novemberi hatalomátvételt követően néhány héttel, december 20-án hozta létre a "vaskezű" Feliksz Dzerzsinszkij vezetésével a politikai rendőrséget, közkeletű nevén a Csekát (Összoroszországi Rendkívüli Bizottság - VCSK).
Dzerzsinszkijt Lenin nevezte ki a Forradalmi Katonai Bizottság egyik vezetőjének.
A "forradalom lángoló pallosának" feladatául szabták, hogy fellépjen az ellenforradalommal és a szabotázscselekményekkel szemben, megsemmisítse a rendszer ellenségeit, elhárítsa és megtorolja a rendszerellenes szervezkedéseket.
1917. december 7-én Dzerzsinszkij javaslatot tett a bolsevik forradalommal szemben ellenséges erők felszámolását célzó "Összoroszországi Rendkívüli Bizottság az Ellenforradalom és a Szabotázs elleni Harcra" elnevezésű, rendkívül széles jogosítványokkal rendelkező szervezet felállítására, amely orosz nevének kezdőbetűi után kapta a Cseka rövidített elnevezést. Vlagyimir Iljics Lenin Dzerzsinszkijt tette meg a szervezet első elnökének.
A Cseka kíméletlen eszközökkel fogott hozzá a bolsevikok vélt vagy valós ellenségeinek tömeges likvidálásához.
A testület elnevezése az évtizedek során többször változott (VCSK, GPU, OGPU, NKVD, NKGB, MGB, MVD, KGB), működött közvetlenül a kormány fennhatósága alatt, egyes minisztériumok alá rendelve és önálló minisztériumként is, ám félelmetes híre a hetvennégy év során jottányit sem változott.
A szervezetnek több hírhedt vezetője is ismert, köztük az elődjét megmérgező Genrih Grigorjevics Jagoda, aki 1934 és 1936 között mint a Szovjetunió belügyi népbiztosa irányította a titkosszolgálatokat,
és aki Sztálin jobbkeze volt a nagy koncepciós perek előkészítésében.
Az őt követő Nyikolaj Ivanovics Jezsov nevéhez fűződik a Vörös Hadsereg vezetésének lefejezése és a pártapparátus "megtisztítása" is.
A sztálini tisztogatások idején sok millió ember esett az elnyomó gépezet áldozatául, amely saját munkatársait sem kímélte: hamis vádak miatt 20 ezer, a pártot odaadóan szolgáló államvédelmis is a terror áldozata lett.
Sztálin és gyűlölt hóhéra, Lavrentyij Berija 1953-ban bekövetkezett halála után a hruscsovi vezetés a túlságosan nagyra nőtt államvédelmi szolgálat állományát három év alatt felére csökkentette, jogkörét megnyirbálta és jelentősen átszervezte. (Beriját a Sztálin halála utáni hatalmi harcokban fölébe kerekedő Hruscsov–Malenkov csoport végeztette ki.)
Az 1954. március 13-án létrejött Állambiztonsági Bizottsághoz (orosz nevének rövidítése alapján KGB) kerültek a belügyminisztériumtól leválasztott állambiztonsági szervek, a határőrség, a katonai elhárítás és több oktatási, illetve tudományos kutató intézet. A KGB formailag a minisztertanács alárendeltségébe tartozott,
de a gyakorlatban a Szovjetunió Kommunista Pártja (SZKP) közvetlen politikai irányítása és kontrollja alatt tevékenykedett.
Jogállását és feladatkörét is az SZKP KB elnökségének 1959. április 9-i határozata, illetve a minisztertanács ennek alapján hozott rendelete véglegesítette.
Eszerint a KGB központi és helyi szerveinek alapfeladata a szocialista állam és határainak megvédése a külső és belső ellenséggel szemben, továbbá „a szovjetellenes imperialista kémtevékenység" meghiúsítása. Az állambiztonsági szerveknek szigorúan be kell tartaniuk a szocialista törvényességet, de úgy, hogy a szovjet állam egyetlen ellensége se kerülje el a megérdemelt büntetést, és egyetlen állampolgárnak se kelljen elszenvednie megalapozatlan felelősségre vonást.
A Szovjetunió valamennyi szövetségi köztársaságának minisztertanácsa alá rendelve is működtek KGB-szervezetek, a központi testület részben ezek útján látta el feladatait.
A KGB-nek a minisztériumokhoz hasonló jogállása volt,
de vezetőjét nem miniszternek, hanem elnöknek nevezték, aki a kormány tagja volt. A KGB 1978-ban, Jurij Andropov elnöksége idején kikerült a kormány közvetlen fennhatósága alól, és központi államigazgatási szervnek minősült.
Andropov töltötte be az 1956-os forradalom és szabadságharc idején a Szovjetunió budapesti nagyköveti posztját,
és ebben a minőségében komoly szerepet játszott a forradalom leverésének előkészítésében, így többek között Kádár János Szovjetunióba csempészésében. Az 1956-os forradalom eltiprásának szovjet résztvevői közül érdemes megemlíteni Ivan Szerov állambiztonsági hadseregtábornokot, Maléter Pál honvédelmi miniszter lépre csalásának és törvénytelen letartóztatásának megszervezőjét is, aki 1958-ban került a KGB élére.
A KGB katonai jellegű szervezet volt, a hierarchiában főigazgatóságokra és igazgatóságokra tagozódott,
amelyek a különböző területeket (hírszerzés, belbiztonság és elhárítás, a szovjetellenes elemek elleni harc, gondoskodás a párt- és állami vezetők, a védett objektumok biztonságáról, az államhatárok védelme) felügyelték.
A szervezet megszűnésének évében, 1991-ben 480 ezer munkatársa volt, közülük 220 ezer szolgált a határőrségnél, 50 ezer a belbiztonsági alakulatoknál, a KGB-hez tartozott még három légideszant-hadosztály, egy gépesítettlövész-dandár
és egy ezerfős, különleges rendeltetésű alakulat is.
A titkosügynök-hálózat 260 ezer főből állt, akik között szovjet és külföldi állampolgárok is voltak szép számmal.
A KGB sorsát a végnapjait élő Szovjetunióban 1991 augusztusában Mihail Gorbacsov ellen szervezett keményvonalas puccskísérlet pecsételte meg. Az elbukott államcsínyt irányító csoportban tevékeny szerepet játszott Vlagyimir Krjucskov KGB-elnök, akit az elsők között vettek őrizetbe, és vontak felelősségre.
A szeptember elején létrejött új szovjet vezető szervezet, az Államtanács 1991. október 11-én úgy döntött, hogy felszámolja a KGB-t, és annak részlegeire építve önálló hírszerző szolgálatot, biztonsági szolgálatot, határvédelmi szervezetet hoz létre. A döntést a Szovjetunió állami felépítésében zajló változásokkal, az emberi jogok megbízható garantálásának szükségességével indokolták.
Miután Szovjetunió 1991. decemberi szétesésével megszűntek a központi államvédelmi testületek, szerepüket az utódállamok hasonló szervei vették át.
Az orosz belbiztonsági szervezet a kilencvenes években több átalakításon és névváltoztatáson ment át.
A KGB fő utódszervezete a Szövetségi Kémelhárítás (FSZK) lett, amely 1995-től Szövetségi Biztonsági Szolgálat (FSZB) néven működik.
Vlagyimir Putyin orosz elnök a napokban jelentette be, hogy komoly átalakításokat tervez a belbiztonsági szolgálatoknál, lapértesülések szerint az FSZB-re alapozva belbiztonsági minisztériumot hoznának létre, amely megkapná a KGB jogosultságait, azaz egy kézben összpontosítaná a belbiztonságot és a külföldi hírszerzést.