生于华盛顿，卒于华盛顿。父母是联邦政府公务员。胡佛早年患有口吃，但经过努力得到克服，高中时代在院校辩论赛中崭露头角，后进入华盛顿大学夜校学习，于1917年获得法学学士及硕士学位，随即进入联邦司法部工作。1924年，J.C.柯立芝总统任命胡佛出任司法部调查局局长，该机构至1935年正式改组为联邦调查局，简称FBI。胡佛全面扩充特工员额，对特工开展忠诚调查，采购大批监听监控设备，建立犯罪研究实验室，在打击美国“大萧条”环境下的黑帮犯罪及法西斯团体等方面发挥了重要作用。为此，联邦调查局日益成为维护美国国内安全的重要执法力量，甚至成为美国文化与美国形象的一个符号。

第二次世界大战期间，除去严打国内恶性犯罪之外，为打击国内法西斯分子，抵御纳粹德国的渗透、颠覆及破坏，胡佛领导联邦调查局在国内大举开展反间谍、反破坏及策反行动，在F.D.罗斯福总统同意下，联邦调查局的活动范围还扩展到整个西半球。“冷战”期间，胡佛更是以强烈的反共姿态及更加猛烈而富有争议的调查活动名声大噪，包括美国社会主义工人党、三K党、左派学生运动以及黑人民权运动中的激进派黑豹党在内，一切胡佛认定的所谓颠覆力量及破坏组织均遭长期监控和严厉调查。鉴于胡佛领导的相关反间谍活动包含大量隐蔽行动，手段时常非法，根本违反美国联邦宪法，且联邦调查局针对黑人民权运动中的温和派如马丁·路德·金，也开展了大量非法监听、调查乃至栽赃陷害活动，引发舆论的广泛质疑和批评。1975年，美国联邦参议员F.丘奇组织的独立调查委员会经过长期调查，认定胡佛任内联邦调查局的相关活动违宪。