光武帝劉秀是一個非常謙虛隨和的人，當了皇帝以後並沒有擺起架子，拒人於千里之外。早在天下尚未統一的時候，劉秀在洛陽接見了隗囂的使者馬援。此前馬援先到成都會見舊友公孫述，可是公孫述絲毫沒有念舊之情，擺出一副皇帝的架勢。劉秀接見馬援的時候，沒有舉行正式的儀式，而是身著便裝，連帽子都沒帶，獨自一人坐在宣德殿的廊廡下面。光武帝見到馬援以後，就笑著說：「貴客來往於兩個皇帝之間，真是難得，有機會見到貴客真是榮幸啊！」劉秀的平和態度深深地感染了馬援。馬援說當今天下不僅是君選擇臣，也是臣在選擇君，陛下真是明君。馬援對比了劉秀的平易和公孫述的虛偽之後說：「陛下就不怕我是刺客嗎？」劉秀大笑道：「你不是刺客，不過是個說客！」劉秀的平易近人深深地打動了馬援，雖然馬援沒有能說服隗囂歸順劉秀，馬援自己則是心悅誠服地歸順了劉秀。
建武十七年（41年），光武帝劉秀衣錦還鄉，來到南陽郡（治今河南南陽市）的舊居，與宗族親友一起歡聚。在宴席上，光武帝的嬸子伯母們喝多了酒以後說道：「文叔（劉秀的字）過去是一個非常謹慎很少與人打交道的人，感覺很柔弱內向，如今竟然能夠取得這樣的業績。」劉秀聽到這些話以後大笑道：「我治理天下，依靠的也是『柔術』。」
光武帝劉秀的平和還體現在他對待「逸民」、「隱士」等人的態度上。光武帝在位期間，太原郡（治今山西太原市）有一個叫周黨的人，名頭很大，朝廷多次徵召他出來做官，他始終不肯出仕，甚至穿著粗布衣服，用樹皮包著頭去見朝廷官員。光武帝親自召見周黨，周黨並不因為劉秀是皇帝而卑躬屈膝，當面向劉秀表達了自己不願出仕的願望。對於周黨的桀驁不馴，當時就有人指責他驕悍無禮，應按「大不敬」來治罪。不過光武帝劉秀倒是挺洒脫，他下詔說：「自古聖明帝王在位的時候，都會有不肯出仕的人，比如周武王時有伯夷、叔齊。太原郡的周黨不願意出仕，我也不強人所難，賜四十匹綢緞，讓他回家吧。」
莊光，字子陵，浙江餘姚人。後來因為漢明帝名叫劉莊，按照當時的避諱制度，「莊」字改為同義詞「嚴」，所以史書稱他為嚴子陵。嚴子陵是光武帝劉秀在太學上學時的同學，不僅有才，而且品德高尚。光武帝當上皇帝以後，就想到了自己昔日的同學，下令各地訪求嚴子陵。後來山東地區報告有一個人與皇帝要找的人很相像，於是光武帝就派人前去請他，請了多次才把他請到了洛陽。
嚴子陵來到洛陽以後，安排在京師護衛軍營住下，政府特地供給他床褥等用具，就連飲食都由宮中管膳食的官每天早晚供給。司徒侯霸與嚴光是老相識，派人送信給嚴光。送信的人便對嚴光說：「侯大人聽說嚴先生來了，一心想立刻就來拜訪，限於朝廷的有關制度，所以不能來。希望能在天黑後，親自來向你表達歉意。」嚴光不說話，將書簡扔給送信的人，口授一封回信說：「君房先生：你現在官位做到了三公，這很好。如果懷著仁心輔助仁義，天下都高興。但是如果只是拍馬屁看人臉色辦事，可就要身首異處了。」侯霸收到信看過，封好了再上給光武帝。光武帝笑著說：「這狂傢伙還是老樣子。」當天就親自來到嚴光居住的館舍，嚴光裝睡不起來，光武帝就進了他的臥室，摸著嚴光的肚子說：「唉呀嚴子陵，就不能幫著我做點事嗎？」嚴光繼續裝睡不講話，過了好一會兒，才睜開眼睛，又看了好一會，說：「過去唐堯有那樣聖明的品德，巢父、許由等人聽說唐堯要授予自己官職，尚且去洗耳朵。讀書人本各有志，又何必定要強人所難，讓人做官呢？」光武帝說：「嚴子陵，我竟然不能使你作出讓步？」於是便上車，嘆息著離開了。
後來光武帝又請嚴光到宮裡去，談說過去的交往舊事，兩人在一起相處好多天。有次光武帝假裝不經意地問嚴光：「我比過去怎麼樣？」嚴光回答說：「陛下比過去稍稍有點變化。」說完話便睡在一起。嚴光睡熟了，還把腳壓在光武帝的肚子上。第二天，太史奏告，有客星沖犯了帝座，很厲害。光武帝笑著說：「我的老朋友嚴子陵與我睡在一起罷了。」
光武帝授予嚴子陵諫議大夫的職務，嚴子陵不肯屈意接受，就回到富春山，過著耕種生活，後人把他垂釣的地方命名為嚴陵瀨。建武十七年（41年），光武帝又一次徵召嚴子陵，但他沒有去。嚴子陵一直活到八十歲，在家中去世。
光武帝當了皇帝以後能不忘舊情，不擺架子，而嚴子陵在故人當了皇帝以後能夠不貪圖富貴，他們之間保持了比較純真的友誼，因而受到後人的景仰。