前身为1928年成立的南洋共产党。政党成立不久即被英国殖民当局取缔。1930年4月30日，马来亚共产党在森美兰邦成立。随即建立共产主义青年团和赤色工会等组织。1934～1936年，领导吉隆坡汽车司机罢工、新加坡建筑工人罢工和森美兰邦农民斗争，并建立“农民苏维埃”。1941年底，有党员约1600人。1942年1月，创建马来亚人民抗日军，开展抗日武装斗争。1943年2～3月，在雪兰莪召开扩大的七届三中执委会会议，通过《抗日九大纲领》和《告各民族同胞书》，提出驱逐日本法西斯出马来亚、建立马来亚民主共和国的目标，并制定抗日军的军旗、军帽、军歌、军纪等。1944年，与泰国共产党在马泰边境联合建立抗日武装部队。同年，建立马来亚民族解放大同盟。第二次世界大战结束时拥有党员近8000人。1945年12月抗日军解散后，成立退伍同志会。

1947年3月，隶属英国情报部的内奸、马共中央原总书记莱特潜逃。5月，陈平出任党中央总书记，进一步开展政治斗争，先后建立泛马职工联合会、马来亚农民阵线、新民主青年团等群众组织，出版华文日报《民声报》。1948年，党员约有6000人。同年6月英国殖民当局实施紧急法令后，马共转入地下，在农村继续开展武装斗争。1949年2月1日，建立马来亚民族解放军及其总部。1955年12月，在吉打州华玲与马来亚政府举行和平谈判，未达成协议。1963年马来西亚联邦成立时，马共发表声明加以谴责。1968年11月，建立马来亚民族解放阵线。1975年，公布《马来亚共产党土地纲领》。1980年4月，制定新党章。翌年5月，建立马来革命民族主义党，它与马来伊斯兰教兄弟党和马来农民阵线同为马共的统一战线组织。6月，公布《马来亚共产党民族纲领》。

20世纪70年代初，马共及其武装力量因内部分歧发生分裂。1970年，马来亚民族解放军第8支队脱离马共，自称马共（革命派），武装称“马来亚人民解放军”。1974年，马来亚民族解放军第12支队二区脱离马共，自称马共（马列派），武装也称“马来亚人民解放军”。马共武装力量削弱，活动限于马来半岛北部毗邻泰国的丛林地区。1989年12月，陈平代表马共与马来西亚政府和泰国政府分别签署和平协议，停止武装斗争。90年代初，在游击区的一些马共成员陆续走出丛林，融入马来西亚的社会生活。