明末清初之人吴履震有一段笔记，或许可以提供解释。他说：

胜国时，法网疏阔，征税极微。吾松僻处海上，颇称乐土。富民以豪奢相尚，云肩通裹之衣，足穿嵌金皂靴。而宫室用度，往往逾制。一家雄踞一乡，小民慑服，称为野皇帝，其坟至今称为某王坟茔。名士逸民，都无心于仕进，终元之世，江南登进士者，止十九人而已。入国朝来，吾郡元魁继出，文献甲于天下。第民苦赋役，十室九空，无复有往时豪富之风矣。隆庆时，上官恶江南富民专利，有犯必罚至数十百金，严刑迫纳，自谓为国储财。陆平泉语当路曰：“与其积财以待事，不若安民以省事。”真格言也。[吴履震：《五茸志逸随笔》卷七，转引自谢国桢选编：《明代社会经济史料选编·下》，福建人民出版社2004年版，第255—256页。]

大意是：元代统治时期，法网不严密，很粗疏，税收汲取力度也不大。我的家乡松江府（即今天的上海一带）在偏僻的海边，可谓是一处乐土。当地富人追求豪华奢侈的生活，不但穿高档的衣服和鞋子，造的房子也极其豪华，逾越了朝廷的限制。有些富户雄踞一乡，乡里小民都服从他，称之为“野皇帝”。这些人的坟墓至今还被叫作“某某王之坟”。名士与逸民对做官也都没什么兴趣，整个元代，江南地区的进士只有区区十九人而已。反倒是进入本朝（指明朝）之后，松江府科举及第者众多，但百姓苦于赋役，十室九空，再也没有了昔日的豪富景象。隆庆皇帝（明朝第十三位皇帝）在位时，政策专门针对江南的富民，一旦犯了事就往死里罚钱，且以严刑逼迫缴纳，号称“为国家储蓄钱财”。陆树声曾劝告朝廷，与其汲取钱财来防备危机，不如让百姓安居乐业来泯灭危机。这话说得真是太好了。

吴履震写下这些“怀念前朝”的文字时，朱元璋早已作古，魏忠贤也已经死掉，他不必担心会受到什么打击。唯松江人对前朝的怀念，自明朝初年一直延续到明朝末年，确实是一件引人深思的事情。这既说明元朝的时光给松江人留下了深刻的历史记忆，也说明朱元璋和那些遵循朱元璋治国祖训的后人们，一直在用实际行动刺激松江人，在强化他们对前朝的历史记忆。

朱元璋对元朝丧失天下的反思，恰可与吴履震的这段笔记形成“互证”。刘基在自己的文集里，记有朱元璋对元朝灭亡教训的一条重要总结：

奈何胡元以宽而失，朕收平中国，非猛不可。然歹人恶严法，喜宽容，谤骂国家，扇惑非非，莫能治。[洪武四年八月十三日《皇帝手书》，收录于刘基《诚意伯文集》卷一，明刊本，第3页。]

所谓“宽”，具体而言便是指元政权对民间的控制力不足。比如，科举本是皇权将选官任官之权操之于己的重要手段，是重要的秦制统治术，但元朝初期不开科举，后来开了科举又取士极少，仅可谓聊胜于无。再如，元朝政府的主要财源不是农业税，而是盐税与商税。政府依赖商税，便会鼓励商业。商业天然追求自由贸易（包括人的自由流动与物资的自由流动），商业的兴盛又会反过来进一步削弱政府的管控能力。吴履震笔记里的“法网疏阔”，便是朱元璋口中的“胡元之宽”。

对民众而言，“宽”意味着自由度高；自由度高，意味着民众对朝廷的依附性弱，意味着民间比较容易形成有力量的组织。作为造反者，朱元璋亲眼见证了发达的民间组织对元政权造成的冲击。所以他夺取天下后，便决意采取与“胡元之宽”相反的“猛”，来作为自己施政的核心理念。这种猛政首先要消灭的，便是吴履震笔下的那些“野皇帝”。

溧阳县的皂隶潘富，是不是这样一个“野皇帝”？就朱元璋的描述来看，是有可能的——儒士蒋士鲁、私盐贩子赵真与胜奴、寺庙里的和尚，以及诸多溧阳及周边县的普通百姓，都愿意庇护潘富。溧阳知县李皋到任后，也甘心被潘富操纵。如此种种，与吴履震所谓的“一家雄踞一乡，小民慑服”大体相近。

可供参考的，还有明代人于慎行（隆庆二年进士，后官至礼部尚书）的一段描述：

元平江南，政令疏阔，赋税宽简，他无征发，以故富家大族，役使小民，动至千百，至今佃户苍头，有至千百者，其来非一朝一夕也。[（明）于慎行：《谷山笔麈》卷十二“赋币”，中华书局2007年版，第139页。]

于慎行笔下的“政令疏阔，赋税宽简”，便是吴履震笔下的“法网疏阔，征税极微”；于慎行笔下的“富家大族，役使小民，动至千百”，便是吴履震笔下的“一家雄踞一乡，小民慑服”。于慎行生活在明朝中期，吴履震生活在明朝末年，但对于元朝统治下的江南，他们有着几乎完全一致的集体记忆。

这种集体记忆不是虚构出来的。元朝至大二年（1309），便有官员以江南百姓日子过得太舒坦、财富积累太丰足、民间组织能力太发达为由，上奏元武宗，建议增加江南地区的赋税，并让江南富户们送儿子入军作为朝廷的人质。奏折如此说道：

江南平垂四十年，其民止输地税、商税，余皆无与。其富室有蔽占王民奴使之者，动辄百千家，有多至万家者。乞自今有岁收粮满五万石以上者，令石输二升于官，仍质一子而军之。[《续资治通鉴（三）·元纪十四》，第741页。]

该奏折称江南百姓在元朝治下只缴纳地税与商税，再无其他负担（这是当时的一种普遍看法，如至元十八年（1281），元政府中书省的官员也曾说，“江南在宋时，差徭为名七十有余，归附（大元）后一切未征”[《元史·世祖本纪十三》卷一十六，中华书局1976年版，第353页。]，江南的富户们已蓬勃壮大至手底下有上百家、上千家乃至上万家百姓为其工作服务的程度。这些描述，和于慎行、吴履震笔下的集体记忆完全一致。这种富庶程度与组织能力让元朝的一些官员不能放心，故而主张增税和索要人质。元武宗批准了这项建议，但因为建议者稍后在政争中失败被杀，这项政策只实施了大约一年。之后虽也有类似政策出台，但江南地区“政令疏阔”的状况，直到元朝灭亡都未曾发生实质性变化。

“政令疏阔”意味着朝廷对民间的控制力度弱，意味着民间经济文化发展的自由度高，自然，也意味着元朝治下的江南，是一个以富户为中枢来运转的有组织的社会。这些富民，往往上能交通官府，中能结交儒士，下能与江湖世界互通有无。按朱元璋《御制大诰三编》里的描述，潘富便很符合这样的特征。

总之，即便潘富够不上“野皇帝”的程度，他在民间的社会地位也不会太低。毕竟其逃亡能得到上百户民间有地位者的庇护，且当中的赵真与胜奴“家盈数万资财”，门下养了五十余人，另有“邻里相朋者二百余人”，是一个颇有实力的富家大族。潘富与这样的人结交，他自己的情况应该也大体相仿。