1895. január 1-jén született Washingtonban. Családja szűkös anyagi körülmények között élt, így egyetemre csak esti tagozaton járhatott, napközben a Kongresszusi Könyvtárban tisztviselőként dolgozott. Jogi diplomájának megszerzése után, 1917-ben egy bíró bácsikájának ajánlására került az igazságügyi minisztériumba, ahol feladata a "forradalmi és ellenforradalmi" csoportok, az ellenséges érzelmű idegenek megfigyelése lett. A könyvtárban töltött évek nem múltak el hatás nélkül, Hoover rövid idő alatt 450 ezer balos nevét gyűjtötte össze, ennek alapján került sor 1919. november 7-én (a szovjet forradalom második évfordulóján) tízezer kommunista gyanús személy őrizetbe vételére. Többségük amerikai állampolgár volt, ezért el kellett engedni őket - Hoover dossziéi viszont az eljárások során a radikálisok védelmére hajlandó ügyvédek százainak nevével gyarapodtak.

1921-ben lett az akkor még az igazságügyhöz tartozó Nyomozó Iroda helyettes vezetője, három év múlva igazgatója. A botrányoktól sújtott, tekintélyét elvesztett szervezet irányítása alatt jól működő gépezetté vált. Szigorodott az ügynökök toborzása, javult kiképzésük, 1926-ban létrejött az ujjlenyomat-nyilvántartó. Hoover - arra hivatkozva, hogy a szervezett bűnözéssel csak erős bűnüldözők szállhatnak szembe - hatalmas összegeket csikart ki a kongresszustól az 1935-től már Szövetségi Nyomozó Iroda nevet viselő szervezete számára. A pénzt jól használta fel: világszínvonalú bűnügyi laboratóriumot állított fel, létrehozta az FBI akadémiáját, ahol rendőrök is kiképzést kaptak, a fegyvert viselő ügynökök az ország területén bárhol letartóztathatták a gyanúsítottakat. Az FBI sorra juttatta rács mögé a gengsztereket, Hoovert nemzeti hősként ünnepelték.

Az idők során a nem egyszer törvénysértő módon (lehallgatás, postatitok megsértése, zsarolás révén) felhalmozott személyes adatok tömegének köszönhetően Amerika leghatalmasabb emberévé vált. 1924 és 1972 között az Egyesült Államoknak nyolc elnöke, de az FBI-nak csak egy igazgatója volt. A mindenhol szovjet ügynököket gyanító Hoover kiharcolta, hogy szervezete az Amerikában folyó külföldi kémtevékenységet is vizsgálhassa. A radikális politikai nézeteket valló egyénekről gyűjtött adatokat kiszivárogtatták az Amerika-ellenes tevékenységet vizsgáló kongresszusi bizottságnak, emiatt számos kommunistabarátságát titkoló színész, filmes került feketelistára.

Az FBI az ötvenes évektől már alig foglalkozott (az igazgató által nem létezőnek minősített) szervezett bűnözés üldözésével. Ehelyett a Hoover által veszélyesnek tartott nézeteket valló közszereplőket és a politikai korrupciót vizsgálta, a megszerzett adatokat aztán az igazgató a politikusok manipulálására használta. Jellemző, hogy 1959-ben az iroda 489 ügynöke figyelte a vélt vagy valós kommunistákat, és csak 4 a maffiát. Nemcsak Martin Luther Kingnek és John Lennonnak, hanem még Elvis Presleynek is felfektettek dossziét.

Hoover a hetvenes évektől már a bírálatok állandó kereszttüzében állt, a washingtoni pletykák szerint felmentését fontolgatta Harry Truman, John F. Kennedy és Lyndon Johnson elnök is, de végül egyiknek sem volt bátorsága hozzá. Hoover az FBI vezetőjeként halt meg 1972. május 2-án. Félelmetes és rettegett magánirattárát barátja, Clyde Tolson semmisítette meg. A korábban sérthetetlen igazgatót 1976-ban bírálta először egy szenátusi jelentés. 

Az iroda központi épülete ma is Hoover nevét viseli, de az igazgató ellentmondásos öröksége miatt időről időre felmerül az átkeresztelés gondolata.