在《三國演義》中，陶謙被塑造成一個忠厚長者的形象，他原本想巴結討好曹操，不料他的部下貪財，殺害了曹操的父親，結果遭到曹操的瘋狂報復。然而，史書記載卻不是這樣。陶謙既有野心，又有能力，是當時很有實力的軍閥。陶謙與曹操屬於敵對陣營，是他首先向曹操發起了挑戰，而且曹操父親被害，他也逃脫不了干係。
《三國志》記載，陶謙是丹陽郡人，漢末群雄之一。陶謙從小好學，被推舉為茂才，入仕後在州郡任職，當過盧縣縣令和幽州刺史，後來被徵召入朝，擔任議郎，曾隨軍西征，討伐韓遂，立有戰功。
裴松之引用《吳書》記載說，陶謙少年喪父，無人管束，以性格放浪而聞名。在十四歲的時候，陶謙騎著竹馬，以布作為戰旗，與其他孩子模仿打仗玩耍。這個情景，恰巧被甘公看見。甘公當過蒼梧太守，是個名人，他見陶謙與眾不同，就把女兒嫁給了他。甘公夫人不同意，甘公卻說：「這孩子十分奇特，將來必成大器。」
陶謙長大以後，胸有大志，性格剛直。他雖然名字叫陶謙，卻並不懂得謙讓。陶謙曾經擔任過司空張溫的參軍，張溫很器重陶謙，陶謙卻看不起張溫。有一次，陶謙在宴會上公開羞辱張溫，張溫大怒，隨即把陶謙貶到邊關。後來，在眾人勸說下，張溫消了火氣，把陶謙召了回來。陶謙回來的時候，張溫置辦酒宴，為他接風，並且親自在門口迎接，給足了陶謙面子。陶謙卻並不領情，昂首而入，對張溫正眼都不看一下。張溫可是陶謙的頂頭上司啊！可見陶謙的性格和為人，怎麼都算不上是忠厚長者。
公元188年，徐州、青州的黃巾軍勢力再起，攻打郡縣，聲勢浩大。朝廷任命陶謙為徐州刺史，鎮壓黃巾軍。陶謙到任以後，重用當地豪強，招募和訓練軍隊，很快打敗了黃巾軍，把他們趕出境外。當時，北面青州、西面袞州的黃巾軍都很活躍，連兗州刺史劉岱都被殺了，而徐州卻太平無事，黃巾軍不敢在徐州境內活動。青州、袞州、豫州的一些百姓，紛紛湧入徐州避難。可見，陶謙的能力還是很強的。
徐州，也是東漢十三州之一，範圍大致在今江蘇省北部和山東省南部，與青州、袞州接壤，轄五個郡國、六十多個縣，治所在今山東郯城縣一帶。徐州經濟發達，交通便利，是個用武之地。陶謙精心治理徐州，他實行屯田制度，使農業生產得到恢復和發展。不過，《三國志》說，陶謙背離正道，遠君子，近小人，刑法政事極不協調，善良之人很多受到迫害。
當聯軍舉兵討伐董卓的時候，陶謙不顧大義，擁兵自重，並不參與。相反，他頻頻向禍亂朝廷的權臣獻媚，與他們保持聯繫。陶謙派遣使者入京，獻上厚禮，表示效忠朝廷。誰都知道，此時的朝廷，是在李傕、郭汜等人的控制之下。於是，李傕以朝廷的名義，任命陶謙為徐州牧，封為溧陽侯，還特別授予他安東將軍的稱號，意思是說，東方之地，就由陶謙來安定了。所以，陶謙產生了獨霸東方的野心。
陶謙掌管徐州的時候，曹操還僅是一個小小的東郡太守，在北方地區，陶謙的勢力，只有占據冀州的袁紹能夠與他抗衡。所以，陶謙把袁紹當作最大的敵人，便與袁術、公孫瓚結為統一戰線。陶謙的野心是很明顯的，《三國志》說，當時有個叫闕宣的人，自稱天子，陶謙竟然與這個偽皇帝合作。可見，陶謙並不忠於漢室，而是另有打算。
公元193年春天，陶謙剛剛當上安東將軍，就迫不及待地舉兵攻打袞州，企圖霸占東方。陶謙是想乘曹操新入主袞州、立足未穩之際，向外擴張勢力。陶謙聯合自稱天子的闕宣，共同出兵，一舉攻占了袞州境內泰山郡的華縣、費縣，接著，又攻打任城。所以，按史書記載，不是曹操先去攻打徐州，而是陶謙首先向曹操挑戰的。
陶謙沒有想到，此時的曹操，已經不可同日而語了。他雖然剛當上袞州牧不久，卻迅速收編了青州黃巾軍，手裡有了三十多萬精兵。曹操聽說陶謙來犯，立即率兵迎敵。青州兵剛剛歸附了曹操，急於表現，作戰如狼似虎，陶謙抵擋不住，一連丟失十幾座城池。陶謙無奈，只好退守老巢郯城，堅守不出。
由於曹操剛接手了袞州，需要處理的事情很多，而且軍糧短缺，不能久戰，特別是曹操心裡很清楚，在當時情況下，是難以吞併徐州的，所以，在給了陶謙一個教訓以後，曹操就主動撤兵返回了。這是曹操第一次打徐州，實際上是自衛反擊。
就在這年的秋天，曹操的父親曹嵩，在去袞州的路上，被徐州方面殺害了。對此，《三國志》記載，是「為陶謙所害」。范曄的《後漢書》 記載得更清楚，說曹嵩路過泰山的時候，被陶謙得到了消息。當時陶謙剛被曹操打敗，心懷怨恨，便派輕騎兵追擊，把曹嵩以及隨從全部殺害了。
不過，也有史書有不同的說法。《吳書》記載說，曹嵩路過徐州的時候，陶謙派都尉張闓帶二百名士兵護送，張闓因貪圖曹嵩財物而將其殺害。《三國演義》為了塑造陶謙忠厚長者的形象，採用了這個說法。《吳書》的說法明顯不合情理，當時曹陶兩家處於敵對狀態，陶謙怎麼會派兵護送曹操父親呢？殺曹嵩倒符合情理。
曹操父親被殺，曹操豈能善罷甘休。這一次，曹操是下決心要消滅陶謙、吞併徐州了。為此，曹操做了大量準備工作。
第二年夏天，曹操做好了一切準備，打著為父報仇的旗號，第二次攻打徐州。這一次，曹操是志在必得，大軍幾乎傾巢而動，只留陳宮、荀彧、程昱率少部分兵力留守後方。袁紹是曹操的盟友，也派出朱靈等幾名將領，率軍前去相助。
有意思的是，戰鬥結束以後，其他將領都回到袁紹那裡，朱靈卻說：「我見過的人多了，沒有一個像曹公這樣的。這麼賢明的君主被我遇上了，怎麼還能離開呢？」於是，朱靈率領手下士兵歸順了曹操，從此跟隨曹操南征北戰，屢立戰功，最後官至後將軍，被封為高唐亭侯。
曹操率領兇悍的青州兵以及袁紹的援兵，攻城拔寨，勢如破竹，所向無敵，很快占領了徐州的大片土地。但是，青州兵軍紀不嚴，殺戮過重，受到人們譴責。《三國志》說，曹軍所經過的地方，大多數都遭到了屠殺。《後漢書》說，「共殺男女數十萬人，雞犬不留，泗水為之斷流」。有的史書，甚至說曹操「屠城」。曹操被指責為奸雄，這是他的罪狀之一。
陶謙見形勢危急，急忙向他的盟友求救。陶謙與袁術、公孫瓚是一夥的，不過，這個時候，袁術已經被袁紹、劉表、曹操聯合起來打敗，逃到了揚州，鞭長莫及。陶謙只好向公孫瓚求救，公孫瓚派青州刺史田楷去救徐州。劉備當時任平原縣令，也隨田楷一同前去。
劉備在鎮壓黃巾起義時從軍，因功被任命為安喜縣尉，在鞭打督郵後棄官逃走，投靠了公孫瓚。劉備與公孫瓚都是盧植的學生，兩人交情深厚，公孫瓚讓劉備當了平原縣令。劉備曾經與田楷一起抵禦袁紹，這次又一塊去了徐州。
田楷、劉備雖然去救徐州，但兵力不多，陶謙反而給劉備增加了四千士兵。陶謙眼見大勢已去，日暮途窮，內心恐懼，打算逃回老家丹陽去。就在這關鍵時候，曹操卻突然撤兵回去了，陶謙僥倖逃過了一劫。
徐州雖然沒有被滅掉，但已經被曹操打得七零八落了。陶謙心力交瘁，不久病死，終年六十三歲。陶謙臨終前，把徐州託付給了劉備，從此，劉備開始顯現起來。《三國演義》寫了這一情節，與史書記載相符。
曹操在節節勝利，眼看徐州就要被收入囊中的時候，為什麼突然撤軍了呢？原來，是他的後院起了火，陳宮在後方叛亂了，他不得不回去平叛。
曹操雖然智謀過人，但這次陳宮叛亂，他卻是萬萬沒有想到的。陳宮反叛，勾結呂布，差點毀了曹操基業。