区境在唐、五代、宋时属华亭县高昌乡。元、明、清三代属上海县高昌乡。清宣统二年（1910年），区境分属上海县的上海城、法华乡、漕河泾乡。民国3年（1914年），法国殖民主义者第三次扩张，境内今肇嘉浜路以北、华山路以东地区划入法租界范围，其余地区仍属上海县。民国16年，国民政府设上海特别市，区境除法租界外，分属沪南区、漕泾区、法华区。抗日战争期间，华界先后分属伪上海市大道政府南市区、沪西区和上海特别市第四、七、八区。抗日战争胜利后，区境分属上海市第七区（常熟区）、第八区（徐家汇区）、第二十六区（龙华区）。
1949年5月全境解放，实行军事接管。1950年6月，成立徐汇区人民政府。1956年3月，常熟区与徐汇区合并为徐汇区。1984年9月，上海县龙华镇和漕河泾镇划属徐汇区。1992年7月，上海县龙华乡划归徐汇区。
1990年，第四次全国人口普查，徐汇区总户数为224724户，总人口为776602人。9月，经市人民政府批准，成立虹梅路街道办事处，于12月31日挂牌。
1991年5月26日，经市人民政府批准，撤销宛平南路、漕溪北路街道办事处，建立新的漕溪北路街道办事处；撤销新乐路、湖南路街道办事处，建立新的湖南路街道办事处。
1992年7月8日，市政府决定，上海县龙华乡和虹桥乡的虹三、虹南、星联、长春4个村及梅陇乡的桂林、牌楼、和平3个村划归徐汇区。9月15日，徐汇区龙华乡人民政府挂牌。7月12日，经市政府批准，设立康健新村街道办事处。1993年6月10日，康健新村街道办事处正式成立。
1994年3月14日，经市政府批准，撤销徐镇路、漕溪北路、天平路、永嘉路、枫林路街道办事处，建立徐家汇和新的天平路、枫林路街道办事处。
1996年7月25日，经市人民政府批准，设立凌云路街道办事处。
1998年5月28日，经市政府批准，龙华乡举行撤乡建镇挂牌仪式。龙华乡易名为华泾镇，辖区面积7.22平方千米。
2004年3月25日，徐汇区政府在漕河泾街道办事处召开南站地区部分街道办事处行政区划调整交接仪式。漕河泾街道与康健街道、漕河泾街道与龙华街道、漕河泾街道与长桥街道、康健街道与凌云街道、龙华街道与长桥街道分别签署了交接协议书（注：本站尚未收集到此次具体调整情况）。2004年6月30日，徐汇区辖12个街道、1个镇，350个居委会、14个村委会。2004年9月30日，徐汇区辖12个街道、1个镇，344个居委会、14个村委会。
截至2005年12月31日，徐汇区辖12个街道、1个镇，314个居委会、12个村委会：湖南路街道、天平路街道、枫林路街道、徐家汇街道、斜土路街道、长桥路街道、漕河泾街道、康健新村街道、虹梅路街道、田林路街道、凌云路街道、龙华街道、华泾镇。
2007年末，全区面积54.76平方千米，户籍人口89.18万人，辖12个街道、1个镇，298个社区、10个行政村。