陶谦幼年时父亲去世，少年时以性格放浪闻名县里，陶谦的父亲，曾经担任过馀姚县长，陶谦十四岁时以布作为战旗，骑着竹马与乡里小孩子一起嬉戏。

他的同乡、曾任苍梧太守的甘公出门时遇见陶谦，见到陶谦的外貌不凡，于是叫上车来与他交谈，感到非常高兴，把自己的女儿嫁给了陶谦。

甘公的妻子对此非常愤怒，但是甘公对其妻说：

“这个孩子外貌奇特，长大后必成大器。”

陶谦后来喜欢学习，先是考上诸生，在州郡为官，后被举为茂才，拜尚书郎，先后出任舒县令、卢县令。

其后迁幽州刺史，被征拜为议郎。

中平二年（185年）三月，北宫伯玉等率领羌胡进犯三辅，灵帝派遣左车骑将军皇甫嵩率军讨伐，皇甫嵩表请武将随行，召拜陶谦为扬武都尉一同出征，将叛军击败。七月，皇甫嵩因先前得罪中常侍赵忠、张让，在他们的诽谤下被贬官削爵。

朝廷另委派司空张温为车骑将军前往讨伐，张温请陶谦为参军，接遇甚厚，但陶谦素来轻蔑张温的作为，心怀不服。后大军回朝，陶谦在百官宴会上公然羞辱张温，张温大怒，意图将陶谦迁往边关，在别人的劝说下才将陶谦追回。张温于宫门迎接陶谦，陶谦并不领情，但张温对陶谦还是像以前一样好。

中平五年（188年）十月，青、徐两州黄巾复起，攻打郡县。

朝廷任命陶谦为徐州刺史，镇压黄巾军。陶谦一到徐州就任用亡命东海的泰山人臧霸及其同乡孙观等为将。结果一战便大破黄巾军，剩下的黄巾军也被迫逃出徐州境内。

黄巾败走后，陶谦上表拜臧霸、孙观为骑都尉，令其屯琅玡郡治开阳，驻守徐州北面。

在此之后，陶谦在徐州推行屯田。表荐下邳人陈登为典农校尉，在徐州境内实行屯田。陈登上任便“巡土田之宜，尽凿溉之利”，在陶谦、陈登的努力下，徐州农业生产得到恢复和发展，收获“粳稻丰积”。

此时北面的青州、兖州黄巾此起彼伏，徐州却相对太平无事，百姓富足，谷米屯满粮仓，青州、豫州等地的流民（如郑玄、许劭等）也纷纷涌向徐州。

同时，他还在徐州宣扬佛教。特别是下邳郡，陶谦任命与自己同郡的下邳相笮融督管广陵、下邳、彭城运粮。笮融利用手中掌握的粮食，起大浮屠寺，可容三千余人，悉课读佛经；又以信佛免役作号召，招致人户五千余，“每浴佛，多设酒饭，布席于路，经数十里，民人来观及就食者且万人”（笮融此举或出于陶谦的默许）。

而且陶谦任用地方豪族。

任用琅玡人赵昱、东海人王朗为别驾及治中从事。

任用徐州富商糜阳（糜竺族弟，糜竺一家搬往冀州后，余留家资留给糜阳打理，在糜竺支持下，糜阳亦成为徐州富商）为从事；