洛陽雖然被稱為「十三朝古都」，但洛陽城的真正建立，則要從西周初年周公營建洛邑開始說起。周人的首都鎬京（今陝西西安市長安區西北）遠在關中平原，相對於新取得的東方廣大的土地而言，鎬京略顯偏遠，周人需要在東方新建一座都城來就近控制東方。周公等人在進行了大規模測量以後，選擇了在洛水之濱營建洛邑。周公先建了王城，作為宗廟的所在。王城建成後，周成王就遷到了洛邑。西周在洛邑駐紮重兵，稱為「成周八師」。但是宗周鎬京正式首都的地位並沒有改變。周王城的位置在今天洛陽市西工區王城廣場到王城公園一帶。同時，周公還將一部分殷商的殘餘勢力，即所謂「殷頑」，遷到洛邑就近加以監控。為了安頓這些「殷頑」，周公還在王城的東邊另外建了一座城，稱為成周，在今天白馬寺的東邊。西周末年「犬戎之亂」，宗周鎬京殘破，周平王被迫放棄鎬京，遷居洛邑。此後的周王朝也被稱為東周。在東周王朝的前期，也就是春秋時期，周天子就居住在王城之中。到了春秋末期，周王室發生了劇烈的動盪。周敬王被迫遷往成周。此後戰國時期，周天子始終在成周。戰國末年，秦人占據洛邑，在此設三川郡。秦漢時期的洛陽城，就是在此基礎之上發展而來的。
秦人在攻占洛邑以後，將洛陽作為丞相呂不韋文信侯的封地。呂不韋大權在握，自然會對自己的封地進行大力經營，洛陽城逐漸走向繁華，當時的洛陽有十萬戶。根據《後漢書·郡國志》注引《皇覽》的記載，呂不韋還對洛陽城進行了大規模的擴建。而且就在秦朝，洛陽城中就修建了南宮和北宮。南宋學者王應麟認為，這是秦人在模仿周朝，也將洛陽作為東都來營建。西漢建立之初，漢高祖劉邦定都洛陽期間，就居住在洛陽的宮殿之中。
光武帝劉秀建立東漢，建武元年（25年）定都洛陽，對洛陽城進行了擴建，洛陽城逐漸走向繁盛。班固《兩都賦》中說：「然後增周舊，修洛邑，翩翩巍巍，顯顯翼翼，光漢京於諸夏，總八方而為之極。」（《後漢書》第1363頁）根據皇甫謐等人的記載，當時的洛陽城南北長九里多，東西寬六里多。如今漢魏洛陽故城的城垣除南城牆被洛水沖毀以外，其他三面牆體大體保存完整。經考古部門測量，遺址東垣殘長3895米，寬約25到30米，西垣殘長4290米，寬約20米，北垣殘長3700米，寬約14米。南垣為洛水衝決，勘查者根據現存東西城垣之間的距離，推測南垣長應為2460米。全城平面呈不規則長方形，周邊約14公里，合漢晉時期三十里，與文獻記載基本相符。殘垣一般高於地面1~2米，北垣東段高出地面5~7米。城牆均用夯土版築而成。為增強城牆的防禦能力，洛陽城牆上還修建了眾多的馬面。目前考古工作人員已經發現了十八座馬面，馬面之間相隔約110米到120米之間。在城牆之外有一條名為陽渠的水渠，早在建武五年（29年）河南太守王梁就曾試圖引水進城，結果勞而無功。建武二十四年（48年），司空張純終於完成了陽渠的修築。據鑽探，陽渠大約寬18~28米，深約3~4米，它還和城內的水系相連接，起到了護城河的作用。根據《後漢書·張純傳》的記載，陽渠還可以通漕運。
根據文獻記載，洛陽城有十二座城門，分別與十二地支相對應。西城牆有三座城門，從南向北依次是：廣陽門、雍門、上西門。北城牆有兩座城門，從西向東依次是：夏門、谷門。東城牆有三座城門，從北向南依次是：上東門、中東門、耗門（望京門）。南城牆有四座城門，從東向西依次是：開陽門、平城門、小苑門、津門（津城門、津陽門）。洛陽城最重要的城門是建武十四年（38年）修建的平城門。蔡邕說：「平城門，正陽之門，與宮連，郊祀法駕所從出，門之最尊者。」（《後漢書》第339頁）所以平城門歸衛尉管轄，專門設有二千石級別的城門司馬來負責守衛。其他各門，每門設一城門候，城門候的級別是六百石。其下屬官員還有令史等職。在津門之外有一座浮橋連接洛水南北兩岸。洛陽北邊邙山之上是殯葬之所，洛陽城中出殯往往走北邊。光武帝時，中郎將來歙（xī，或shè）遇刺身亡，遺體送回洛陽安葬，眾人送葬都從夏門出入，結果造成擁擠。光武帝叔父趙王劉良的車仗被堵在哪裡，劉良大怒，把負責管理城門的城門候好一通訓斥。不僅如此，就連死刑的處決，也往往在北城門外。鄧太后時，尚書郎張俊得罪人而被陷害入獄。他在獄中託人上書訟冤。就在他的上書遞上去的時候，對他的判決已經下來了。廷尉將他拉到谷門外的刑場上準備行刑，關鍵時刻，鄧太后派人快馬加鞭將張俊救了下來。李固杜喬等人遇害後，屍體被放在夏門之外示眾。開陽門建成之初尚未命名，一天晚上，突然一個柱子從天而降，誰都不清楚是怎麼回事。後來琅邪郡開陽縣（今山東臨沂市）上報，縣城南門一個柱子突然飛走了。光武帝派人去看到底是怎麼回事，原來開陽縣南門上的柱子竟然飛到了洛陽的新城門上，於是就把新城門命名為開陽門。
除南城牆的四座門以外，其他八座城門遺址已被考古人員找到。城門一般寬7~24米，部分寬達31~47米。在少數城門外面還發現有雙闕。一般城門都是一個門道，個別有兩個門道或三個門道。考古人員對上東門（魏晉時稱建春門）遺址進行了科學發掘，遺址南北長30米，東西寬12.5米。門內有兩道牆，將門址分隔成三條門洞，每個門洞寬約6米。南北門洞內的門檻石、車轍痕跡尚清晰可辨。北門洞道路下還有一條用磚石修築的排水暗溝。考古人員還在遺址中發現石灰的痕跡，證明當時的門洞內用石灰粉飾過。
古代的城制，往往是內城外郭。東漢洛陽城雖然面積近二十平方公里，但作為帝都，並不算廣闊，很多重要的建築都修在城外，普通百姓往往住在城外。建武七年（31年）、永壽元年（155年）等年份，洛河漲水沖毀了很多城外的民居，證明當時城外居住還是比較密集的。在漢代，朝廷出於社會控制的需要，禁止人們三人以上無故聚眾飲酒。元和二年（85年），漢章帝詔令各地官府組織當地民眾大酺（pú，歡聚飲酒）五日，並進行賞賜，洛陽城內居民每戶賞賜一匹布，城外居民則三戶共一匹布。所以，修建外郭牆來對這些重要建築和民居加以保護是順理成章的事情。不過在文獻中並沒有留下何時修築外郭城的明確記載。現存漢魏洛陽故城的外郭城，為北魏時期修築，尚不清楚北魏修築外郭城的時候，是否沿用了漢代所修築的城牆。但漢洛陽城有外郭城則是可以肯定的。《續漢書》的《祭祀志》中就曾提到洛陽的東郭，《古詩十九首》中則提及了洛陽城的北郭。據記載，漢代外郭門被稱為皋門。見於記載的洛陽外郭城門還有宣平門。
每座城門之外，還會設有一亭。夏門之外有萬歲亭，漢桓帝、漢靈帝在被太后選中登基之前，都曾在萬歲亭停留。在城門之內，有二十四條街道，每條街道還有一個亭。每亭設亭長一人，掌治安警衛，兼管停留旅客，治理民事，多以服兵役已滿期之人充任。這些亭起到政府招待所和公安局派出所的職能。城內的亭有奉常亭、宣陽亭等。在所有的亭中，最重要的就是都亭。在都亭設有建鼓，用來召集號令，有點類似後世的鐘鼓樓。都亭是洛陽城的重要交通樞紐，所有公務出行都需要由洛陽都亭出發，可能需要到洛陽都亭領取必要的憑證，或進行登記。相應的，到達洛陽城也需要到都亭登記或報告。（張繼海《漢代城市社會》，社會科學文獻出版社2006年版）漢順帝漢安元年（142年），曾派出八個使者巡行各地，糾察姦邪，撫慰百姓。其中有張良的七世孫張綱。他在臨出發之際，憤而將車輪埋於洛陽都亭，說道：「豺狼當道，安問狐狸？」接著就對大將軍梁冀兄弟提出彈劾。在都亭還建有一些供人們住宿停留的房屋。早在西漢時期，河南太守嚴延年的母親來到洛陽城，拒絕進入兒子的府邸，就住在洛陽的都亭之中。漢質帝在登基之前，也是先被召到洛陽的都亭聽候梁太后的安排的。由於都亭地位重要，所以也是重兵把守的區域。中平元年（184年）黃巾軍起事，漢靈帝就派大將軍何進「率左右羽林五營士屯都亭，修理器械，以鎮京師」。（《後漢書》第2246頁）建寧元年（168年）宦官突然發動政變的時候，竇武就在都亭聚集了數千人的隊伍做應對。竇武兵敗自殺以後，被梟首於都亭進行示眾。都亭的具體位置，還需要進一步考察。見於記載，城中還有宣德亭，城西有幾陽亭，在河南縣還有夕陽亭。在外郭城皋門之外也有亭。
據記載，洛陽城中有二十四條街道，考古發現有五條東西幹道，四條南北幹道。根據陸機《洛陽記》的記載，當時的道路都修成三幅，中間是御道，御道兩旁修有四尺高的牆。御道只供公卿尚書郎等高級官員穿著朝服通行。普通百姓只能從御道左右通行，當時規定左入右出。不僅如此，普通百姓還不能從御道穿過。在道路兩旁還種有榆樹、槐樹、柏樹、合歡樹、竹子等行道樹，為行人遮蔭避暑。
洛陽城中被街道劃分為若干里坊，人們就住在這些里坊之中。每一個里都有圍牆，封閉式管理，里中所有人家都不允許臨街開門。只有梁冀夫婦那樣飛揚跋扈的人，才敢於打破圍牆，直接將家門開到大街上。每個裡有幾個門，並沒有固定的要求，里門有專人負責管理，每晚都要鎖閉。所有的漢代城市，事實上都是宵禁的。崔寔的《政論》記載，漢安帝曾下令：「鐘鳴漏盡（古代以銅製漏壺為計時器，有孔，可以滴水或漏沙，有刻度標誌時間），洛陽城中不得有行者。」政府還會派人負責巡視。行人夜晚在街上行走，是一件非常危險的事情。漢和帝時，外戚竇篤從宮裡回家，走到止奸亭，被亭長攔住，好一通盤查才得以放行。宦官頭子蹇碩的叔父蹇圖違反禁令，夜行於大街之上，被當時擔任洛陽北部尉的曹操用五色棒亂棍打死。洛陽城中到底有多少個裡，文獻並無記載。見於文獻記載洛陽的里有：上商里，陸機《洛陽記》說：「上商里，在洛陽東北，本殷頑人所居，故曰上商里宅也。」（《後漢書》第1019頁）漢桓帝鄧皇后之母住在延熹里。董卓在洛陽的宅邸在永和里。見於記載的還有步廣里。至於一個里有多大，一個里可以有多少戶人家，這些都沒有具體的規定。漢安帝乳母的豪宅乾脆占據了兩個里。
漢代洛陽城有著嚴格的市坊界限，所有的商業活動，都要在市里進行。市有圍牆，開有若干個門。在市內修建有房屋，以供人們進行貿易。見於記載，洛陽有南市、馬市、金市等。
洛陽城中最重要的建築是皇宮，我們在後面會專門介紹。其次就是政府的各類機構了。文獻中並沒有留下光武帝劉秀在位期間是否修建了各官府的明確記載，大概當時天下剛剛安定，政府沒有多餘的財力來修建眾多的官府，可能當時公卿都是在西漢所留下的房舍之中辦公的。到永平三年（60年），漢明帝在修建北宮的同時也開始修建各類官府。到永平十五年，漢明帝下令在開陽門內修建了三公府邸。司徒府居中，正對皇宮的蒼龍闕，司空府和太尉府分列於左右。有重大政務需要處理的時候，皇帝會親臨司徒府，因而在司徒府中還為王侯公卿修建了更衣休息的場所，還修建了專門用於停車的「駐駕廡」南北四十餘間。各級官員和其屬員往往住在官府之中，因而各官府中還修建有「官舍」和「吏舍」。
除了三公的官府被稱為府外，其他的政府機構往往被稱為官寺。早在西漢的時候，洛陽城中就修建有武庫，用於儲存兵器，文獻中留下了多次洛陽武庫失火燒毀兵器的記載。漢安帝元初四年（117年）二月壬戌日武庫失火，《東觀書》記載：「燒兵物百二十五種，直千萬以上。」（《後漢書》第3294頁）所有的官府都修有圍牆。漢桓帝時，「武庫東垣屋自壞」，唐代李賢《後漢書注》解釋道：「東垣，庫之外障。」（《後漢書》第339頁）作為京師，洛陽城中還有各種倉庫，儲藏著從全國各地聚斂來的財富。中黃藏府，儲藏皇宮的幣帛、金銀等貨物。大司農帑藏，負責儲藏政府收支的財物。太倉和武庫都在洛陽城內的東北角。1962年勘探城內東北隅的時候，發現南北兩組大型建築基址，南側的一組建築基址很可能是武庫，而北側的那組很可能就是太倉。
將作大匠負責各種工程營建，而具體的勞作者往往是刑徒。因而在洛陽城中還專門修建了負責管理刑徒的機構：左校和右校。名將皇甫規就曾被宦官誣陷而被罰到左校服苦役。洛陽城中還有各類監獄，關押著尚未判決的人犯。其中最重要的是詔獄，關押的都是些重犯，皇帝往往直接指定人員負責審理。黨錮之禍中，宦官們就是在詔獄中對士人進行瘋狂屠殺的。宦官們還直接控制著黃門北寺獄，陳蕃就被他們逮到北寺獄中遭到殺害。
河南尹和洛陽令的辦公場所也在洛陽城中，自然也有他們的官府。不僅他們，就連他們的屬官也都有專門的場所。宦官孫程去世後，漢順帝親自到北部尉的傳舍之中去為孫程送喪。
為了方便地方郡國人員往來京師，在洛陽城中還修建了眾多的郡邸，相當於後世的駐京辦事處。漢章帝就是在中山國邸為千乘王劉伉舉行了冠禮。漢和帝去世後，鄧太后臨朝，當時漢殤帝年幼，為了防備萬一，鄧太后下令讓清河王劉慶的兒子劉祐與其嫡母留在清河郡邸之中，沒有隨清河王前往清河。後來漢殤帝去世，劉祐被從郡邸迎進皇宮即位，他就是漢安帝。河東太守史弼被宦官侯覽誣陷而身陷囹圄，多虧了下屬將郡邸出售換點錢向權貴打點才得以倖免。