1949年同屬三港鄉(xiāng)，同年7月撤鄉(xiāng)建區(qū)屬遞鋪區(qū)，稱(chēng)赤塢村、赤山村、芝村村；1950年春赤塢村屬三嶺鄉(xiāng)，赤山村和芝村村同屬雙港鄉(xiāng)；1956年2月屬雙建鄉(xiāng)；1956年赤塢村建赤塢和漁橋兩個(gè)高級(jí)社，赤山村以青山、明山兩個(gè)初級(jí)合作社合并為赤化高級(jí)合作社，芝村村建公益高級(jí)社；1958年10月屬遞鋪公社芝村管理區(qū)，稱(chēng)紅山生產(chǎn)隊(duì)、芝村生產(chǎn)隊(duì)；1961年9月屬華豐公社稱(chēng)紅山大隊(duì)（后稱(chēng)尺五大隊(duì)）、聯(lián)山大隊(duì)（從紅山生產(chǎn)隊(duì)分出）、芝村大隊(duì)；1981年5月尺五大隊(duì)因與本縣赤塢公社的赤塢大隊(duì)同音而更名為赤漁大隊(duì)，聯(lián)山大隊(duì)以駐地更名為赤山大隊(duì)；1981年11月改稱(chēng)南北莊公社赤漁大隊(duì)、赤山大隊(duì)、芝村大隊(duì)；1984年1月改稱(chēng)南北莊鄉(xiāng)赤漁村、赤山村、芝村村；2000年1月撤南北鄉(xiāng)并入遞鋪鎮(zhèn)，仍稱(chēng)赤漁村、赤山村、芝村村；2007年三村合并稱(chēng)赤芝村。
2014年屬遞鋪街道，名稱(chēng)沿用至今。