生于里加，卒于列宁格勒（今圣彼得堡）。出身军人家庭，母亲为俄语教师。1914年全家随父亲一同奔赴国内战争前线，童年在父亲的炮兵营度过。14岁时在剧院当提词员，扮演小角色，参加业余文艺演出。上中学时在《库尔斯克真理报》发表第一部短篇小说《瓦尔卡》。17岁写作长篇小说《理发店来的拉斐尔》，讲述一个外省的年轻理发师自诩为天才画家，梦想得到拉斐尔的画笔，小说直到1931年才出版，当时格尔曼已迁居列宁格勒，在造纸厂工作。1929年就读于彼得格勒剧本艺术专科学校。第二次世界大战期间在北方舰队政治局和白海舰队做随军记者，为塔斯社和苏联情报局供稿之余，著有中篇小说《要幸福！》《冰冻海》《北方之远》和话剧剧本《为旅人祝酒》《白海》，战后获红星奖章。1958年加入苏联共产党。1967年因病逝世。

格尔曼擅长以身边人物为原型塑造主人公。1932年发表的长篇小说《序曲》取材于他与造纸厂德国工程师结识的经历。1934年完成的《可怜的亨利希》也是同一题材的小说。1934～1936年创作长篇小说《我们的熟人》，讲述普通人如何战胜自身弱点。1936年与I.A.格拉西莫夫合著剧本《七个勇敢的人》。

1935年春,格尔曼开始以《消息报》记者的身份在列宁格勒警察局收集资料写作刑侦特写小说，与侦探I.V.博杜诺夫相识，之后以此人为原型创作系列作品。中篇小说《拉普申》和《阿列克谢·日马金》（1937～1938）的同名主人公分别是侦探和蒙受不白之冤的小偷，两部作品在情节上互相关联。多年后作家将它们合二为一，创作长篇小说《一年》（1960）。该侦探和小偷的形象还出现在中篇小说《我们的朋友伊万·博杜诺夫》（1963）、电影剧本《人们，相信我吧》（1964）中。

1964年在M.高尔基的建议下，格尔曼以捷尔任斯基为原型创作《“新年快乐”行动》《铁血菲利克斯》（1938～1957）。此外还以斯鲁普斯基医生为原型创作了话剧《人民之子》《人民之友》和长篇小说三部曲《你服务的事业》（1958）、《我亲爱的人》（1962）、《我为一切负责》（1965）。此外，他还创作了历史长篇小说《年轻的俄罗斯》（1952），讲述彼得大帝的事迹。

1948年因电影剧本《皮罗戈夫》获苏联国家奖。