讀過《三國演義》的人，對劉備的第一印象是仁義，以德服人，然而《三國志》卻給出了另一個劉備，不良少年，好勇鬥狠。
劉備從小就過早的品味了人生的艱辛，他的父親死的早，家裡很窮，不得不和母親靠販賣草鞋和編織蓆子為生。雖然生活艱難，但他從小就不安分，好聽一點就是少有大志，其實都是一個意思，混好了就是少有大志，要受人崇拜的；混不好就是說大話，不安分，痴心妄想，要被人恥笑的。他家庭院東南角長有一棵桑樹，樹高五丈有餘，遠遠望去，枝繁葉茂形同車蓋，過往行人都覺得此樹長得非同一般，有人預言這戶人家要出貴人。先主兒時與族中小孩們在樹下玩耍，就放言說：“吾必當乘此羽葆蓋車。”叔父劉子敬訓斥他說：“汝勿妄語，滅吾門也！”
長大後，“先主不甚樂讀書，喜狗馬、音樂、美衣服”，這些都是紈絝子弟的做法，“好交結豪俠，年少爭附之”，俗話說物以類聚人以群分，劉備應該也是好勇鬥狠之人，並且拳頭比較硬，否則不會“年少爭附之”，這時他的出身是不值錢的，是不能吸引人的，如果此時他憑此吸引人，就像阿Q炫耀祖上曾經富過一個樣，況且真正的皇子皇孫漢獻帝都沒人搭理。
劉備還建立了自己的隊伍，“中山大商張世平、蘇雙等貲累千金，販馬周旋於涿郡，見而異之，乃多與之金財。先主是由得用合徒眾”，“見而異之”，恐怕是陳壽對他的美化吧，他們兩個是商人在涿郡做生意，應該是向劉備交保護費吧，劉備靠這個錢建立了自己的隊伍，“先主是由得用合徒眾”，當時黃巾起義還未爆發，他建立隊伍意欲何為？如何維持下去？肯定少不了金錢，極有可能是收保護費。
《三國演義》中說劉備報名參軍時，才認識張飛和關羽，這是不符合史實的，其實在這之前，他們兩個就跟劉備混了，《三國志關羽傳》記載：先主於鄉里合徒眾，而羽與張飛為之禦侮；《三國志張飛傳》記載：少與羽俱事先主。羽年長數歲，飛兄事之。關羽和張飛，一個傲，一個暴，關羽還是殺人在逃犯，如果劉備沒兩下子，能降住他們兩個嗎？只憑劉備的身份應該壓不住他們兩個，恐怕劉備的武力值應不低於他們兩個。至於桃園三結義，史書未明確記載，只是在《關羽傳》有一句：“先主與二人寢則同床，恩若兄弟。而稠人廣坐，侍立終日，隨先主周旋，不避艱險”，或許沒有桃園結義。