常小兵1957年3月生，汉族，河北涉县人。清华大学经济管理学院在职研究生毕业，工商管理硕士，教授级高级工程师。1976年9月加入中国共产党。

1982年起，历任安徽省六安地区邮电局技术员，江苏省南京市电信局、江苏省邮电管理局网管中心工程师，江苏省邮电管理局电信处副处长，南京市电信局副局长。1996年6月起，历任中国邮电电信总局副局长、信息产业部电信管理局副局长。2000年2月，任信息产业部电信管理局局长。2000年4月，任中国电信集团公司副总经理、党组成员。2004年11月，任中国联通公司董事长。2008年电信重组后，任联通集团与网通集团合并后的中国联通董事长。 2015年8月任中国电信集团公司董事长、党组书记。