生于莫斯科，卒于列宁格勒（今圣彼得堡）。父亲是马车夫，母亲先后做过洗衣工和马车夫，家中有6个孩子，菲洛诺夫是家中幼子。自幼开始画画，童年曾为生计所迫当过舞蹈演员、绣花工人。1887年、1896年，父母先后去世。1894～1897年在莫斯科市教会学校学习。1897年全家迁至圣彼得堡，姐姐嫁给了一位富裕的工程师，因此菲洛诺夫得以获得较好的教育。1898年之后在皇家艺术促进协会主办的绘画夜校学习。1903～1908年在皇家美术学院院士、画家L.E.德米特里-高加索斯基的画室学习，之后3次尝试考入皇家美术学院，于1908年作为旁听生被皇家美术学院附属高等艺术学校录取。曾被学校开除，后又被恢复学籍，但于1910年自愿肄业。1900年夏赴伏尔加河流域旅行，游历了俄罗斯历史城市。1905年赴巴勒斯坦朝圣。1912年用半年时间游历欧洲。1910～1914年加入艺术团体“青年联盟”，参与其画展，与先锋派艺术家交流。1912年加入莫斯科艺术团体“驴尾巴”。1913年与I.S.什柯里尼克一同为V.V.马雅可夫斯基的悲剧《弗拉基米尔·马雅可夫斯基》进行了舞台设计。1914年为未来主义者文集《咆哮的诗坛》、V.V.赫列勃尼科夫的《诗选》绘制了插图。是“艺术家公社”（1921～1922）的成员、“分析艺术大师”艺术团体（1925～1941）的组织者。1916～1918年在罗马尼亚前线作战。1923年在艺术文化博物馆工作，设立了国立艺术文化学院章程。1924年与E.A.谢列勃良科娃结婚，后者是民意党人Z.E.谢列勃良科夫的遗孀。1927年为果戈里的戏剧《钦差大臣》进行了舞台设计。

主要作品包括《头像》（1910）、《男人和女人》（1912～1913）、《国王的盛宴》（1913）、《船》（1919）、《农民家庭》（1910）等。菲洛诺夫生前致力于创建分析艺术博物馆，为此从未出售过自己的画作。几乎所有的作品（约300幅）都藏于位于圣彼得堡的俄罗斯博物馆。1989年末～1990年初，巴黎蓬皮杜国家艺术和文化中心曾展出过8幅菲洛诺夫的作品，这些作品系被非法从俄罗斯博物馆窃出并运至俄境外。经过多年谈判，7幅作品已被送回俄罗斯博物馆，余下一幅作品《宣传员》（1924～1925）则仍未归还。

菲洛诺夫还进行文学创作，于1914～1945年写下了长诗《世界繁荣颂》，于1914年发表宣言《已经完成的绘画》，于1915年发表《世界繁荣宣言》，其文章《规矩和法则》阐述了“分析艺术”的准则。