生于江苏南通，卒于北京。1930年毕业于上海交通大学电机系。1933年赴美留学，先实习于美国国家标准学会，1935年获哈佛大学硕士学位，1936年又在国际电话电报公司服务。1937年回国，先后任中央研究院物理研究所研究员，资源委员会中央无线电器材厂研究室主任、研究所所长、总工程师等职。1944年起任浙江大学教授。1949年后，历任上海电工研究所所长，北京电信技术研究所研究员、总工程师，国防部第五研究院、第七机械工业部、航天工业部第二电研院总工程师、副院长，航天工业部技术顾问等职。1980年当选中国科学院学部委员（院士）。

蔡金涛早年研究电网络行列式，提出了相关的简捷展开法；研究无线电调谐理论和脉冲频谱；曾设计电磁饱和式交流稳压器等。1949年后，筹建中国电子管厂，开拓性地建立中国计量标准事业，领导并参与研究中国微波接力系统，制成脉冲相位调制的多路通信机及其通信设备，为航天工程解决了诸多技术问题。曾任中国电子学会、中国计量测试学会和中国航空学会名誉理事长或理事。