生于乌克兰谢德列兹城的一个教师家庭，卒于莫斯科。切洛梅在12岁的时候，全家迁到了基辅。1932年考入基辅工学院航空系，后来航空系改为伏罗希洛夫基辅航空学院。一年后，切洛梅根据热力过程课老师布置的课外作业写出第一篇科学论文《发动机的热力计算》，受到好评。他还非常善于解决实际问题，1935年在查波洛什发动机厂实习期间，正赶上工厂生产的一种活塞式发动机曲轴出了毛病。他经过分析认为，这可能是曲轴转动在某种频率条件下振动加剧的结果，于是提出降低曲轴负荷的解决办法。果然这一方法很奏效，曲轴的毛病得到了解决。工厂对他刮目相看，决定留他在工厂为技术人员讲授航空发动机振动理论课。切洛梅还提出不用压缩机就能在长喷管中获得足够压力的设想，使工厂的工程技术人员大为吃惊。后来这一设想导致冲击空气喷气发动机的研制成功。1936年基辅出版了切洛梅的著作《向量微分算法》，奠定了他在理论上的成果。1937年，切洛梅提前一年大学毕业，并应邀进入基辅的乌克兰数学研究所工作。1939年，他的《航空结构部件的热稳定性》副博士论文答辩通过。1940年获得副博士学位。

苏德战争爆发后，切洛梅在莫斯科中央航空发动机研究所工作。1941年秋，研究所搬迁到后方，切洛梅留在莫斯科并被推荐做记者。他经常到前线采访，并同技术人员一道解决伊-2强击机结冰引起螺旋桨颤动的问题，还把搜集到的结冰数据提供给它的设计师伊留申，供他改进时参考。

切洛梅一直对火箭怀有浓厚的兴趣，因为这种动力装置部件少，推力大。1942年初，他领导设计成功一种НКП26雪橇火箭炮。他建议并主持将火箭炮研制成冲压式喷气发动机的部件。经过半年时间，他设计的冲压式喷气发动机在莫斯科诞生。不久，他又在这种发动机的基础上，领导研制成功一种无人驾驶飞行器。1944年6月，当得知德国向英国发射V-2导弹武器后，苏联国防委员会向切洛梅提出研制新型武器的任务，并任命他为N51工厂的主设计师和厂长。在他的主持下，仅用半年时间就制造了几十枚机载导弹武器。1945～1954年，切洛梅及其工厂的主要任务是研制巡航导弹，研制出世界第一种反舰巡航导弹。这期间，他还不断学习，于1951年通过了博士论文答辩，1952年获得博士学位。1955年，他被任命为新成立的OKB-52特别设计局总设计师，专门负责无人驾驶飞行器的研制。

切洛梅设计局先后设计了UR-100、UR-200洲际导弹。与此同时，该设计局还开始发展航天器，研制发射过多颗能够变轨的人造卫星。

1961年，切洛梅设计局开始设计更大的UR-500洲际导弹。但该火箭由于个头太大，并不适于作导弹武器。于是，设计局决定在它的基础上发展运载火箭。切洛梅提出，这种火箭可以用来发射载人月球近距离考察飞船，也可用来发射军用空间站。苏联的航天计划经过一系列调整后，UR-500作为一种运载火箭得到进一步发展。1965年7月16日，重新命名为“质子”号的UR-500火箭首次发射成功。它成为苏联当时运载能力最大的火箭。经过改进，到1968年，它的运载能力由原来的12.5吨提高到17吨。除了用于发射深空探测器外，质子号还用于发射苏联的空间站，从1971年4月发射礼炮1号到1986年2月发射和平号，再到1998年12月发射的国际空间站第一舱段，都是由质子号及其改型发射的。截止到2016年9月，质子号火箭共计发射了416次，是苏联（俄罗斯）发射重型载荷的主要火箭。

20世纪70年代，切洛梅提出研制“钻石”号军用空间站，还设计了大型空间转移飞船TKS。“钻石”号空间站后来以礼炮3号、5号的名义发射。该飞船几经演变，后来成为苏联礼炮7号与和平号空间站的舱段。质子号火箭和早期空间站的研制，应当归功于切洛梅和他的设计局。

切洛梅为苏联的军用装备和航天技术的发展做出了重大贡献，也得到了苏联政府的多次嘉奖。1945年，他获得了列宁勋章，他一生共获得四枚列宁勋章；1959年和1963年，他两度获得社会主义劳动英雄称号；1962年，他被选为苏联科学院院士；1964年被授予茹科夫斯基金质奖章；1977年获得里亚普诺夫“数学力学卓越成就”金质奖章；1982年获得了苏联国家奖章。