《本纪》中还谈到刘邦的“好酒及色”。作为一名亭长，刘邦哪里有那么多的公务可做，况且他又是一个不肯做那些琐碎小事的人。为消磨时光，抒发积闷，他近乎饮酒成癖，常常是不醉不止。除了在县衙内外与同事们饮酒外，他更多的是独饮自斟。他经常光顾的地方，是附近王大妈、武大娘所开设的两家乡间小酒店，而且往往是每饮必醉，人们常见他醉卧酒馆之中。时间一长，王大妈与武大娘都曾发现过这样的奇怪现象：

当刘邦醉卧小酒馆便榻之上酣睡时，武大娘和王大妈都曾发现过醉汉的上方似乎有游龙盘绕，因而感到惊奇万分。令武、王二店家感到惊异的，还有每当刘邦光顾小酒馆时，酒馆的来客便突然大增，常常是“酒售数倍”。所以每到年终结账的时候，两家酒馆主人便总是将刘邦平日所欠的酒账一笔勾销了。

刘邦的饮酒欠账，与“醉卧”“有龙”不同，应属于事实，但这并非他小气。作为亭长，他并不像政府中的各级官员那样享有朝廷按时发给的俸禄，而是按规定派人替他耕种分给他的那一小块土地，以土地上的收获物作为自己的生活来源。刘邦从不搜刮百姓财物，又仁而爱人，喜好施舍，他手头哪里会有余钱供他整日饮酒？

关于刘邦的好色，史书没有留下具体的记载，只是在《史记·齐悼惠王世家》写道：“齐悼惠王刘肥者，高祖长庶男也。其母外妇也，曰曹氏。高祖六年，立肥为齐王，食七十城。”这条记载表明，刘邦在与吕氏结为夫妻之前，至少有一个经常往来的情人，并生有一子。这在他的家乡几乎是人所共知的事。因而刘邦即皇帝位后立刘肥为齐王，表明他并不以结婚前与曹氏有过这段亲密关系为介意，有勇气把“私生子”立为王。同时也可以看出，当时人们并不认为刘邦婚前的这种行为有什么可以谴责的。刘邦的这位“外妇”，史书只记载她姓曹氏，其他情况则不详。