生于俄国明斯克省伊古缅市（误传为圣彼得堡市，今属白俄罗斯），1898年考入基辅大学，1899年转入圣彼得堡皇家国立大学（今圣彼得堡国立大学）历史与语文系，受教于B.de库尔德内，1903年起在圣彼得堡皇家国立大学执教。1915年获博士学位。1916～1941年任彼得格勒大学教授。20世纪20年代初，担任苏联语言学协会常任主席。1924年起，当选为苏联科学院通信院士，国际语音学会荣誉会员。1943年当选苏联科学院院士。1944年12月26日逝世于莫斯科。

谢尔巴的词典编纂和研究始于1924年，这一年他进入苏联科学院词典编纂委员会，参与了苏联科学院词典和《俄法词典》的编纂工作，并在实践中不断进行理论研究。他坚决反对将词典编纂仅仅看作一种“技艺”，于1940年发表了《词典编纂学一般理论初探——词典的基本类型》一文，率先提出了有关词典类型的理论，确立了词典学在语言学科中的地位，为当代词典学的发展奠定了基础。在他之后的一系列论著中，用词汇语义分析的思想和方法不断地丰富词典学理论。他认为词典学最重要的任务之一是将词汇学、语义学、语法学的研究成果贯彻到词典编纂中去，认为编写词典正是为了分析词义，揭示词的真实内容，指出意义的各种细微差别和特殊用法。在他编纂的《俄法词典》中，这种理念得到了集中体现。

谢尔巴被公认为苏联词典学的奠基人，他提出的语音学、语法学及词典学理论与V.V.维诺格拉多夫的俄语、文学语言、修辞和诗学理论一样被称为20世纪苏联语言学三大最重要的成果之一。