1509年年底，刘瑾失势，不仅失势，而且第二年还丢了性命。王阳明被任命为庐陵知县，离开了龙场。在庐陵七个月左右，又遇上去京城朝觐。1510年十月，他离开庐陵，十月下旬到达京城，当月就被任命为南京刑部四川清吏司主事，十一月去南京上任。十二月，又调任为吏部验封清吏司主事。1511年二月，又改任会试同考官。到了十月，又升为文选清吏司员外郎。1512年三月，升任考功清吏司郎中。到十二月，又升任南京太仆寺少卿。1513年十月，去滁州主持马匹方面的事务。1514年四月，升为南京鸿胪寺卿。

1509年年底到1516年九月，王阳明除了做过短暂的庐陵知县，其他时间都在北京或南京担任文官，或闲职。王阳明把精力用在了讲学上。闲暇时也和朋友、学生讨论学问。这一段时间，他的心态好像越来越平静。好像是在做减法，把多余的去掉。1515年，他甚至上书皇帝，要求退休，想回到老家过读书讲学的潇洒日子。1515年，皇帝迷恋藏传佛教，引发朝廷大臣的非议，王阳明写了一篇《谏迎佛疏》，劝解皇帝不要沉迷于佛教，而要回到圣人之道。但写好以后，并没有上呈。

这一段时间，他的心学影响越来越大，赞成的、追随的人很多，但反对的、抨击的人也不少。从王阳明给聂文蔚的信中，可以看到王阳明学说所处的环境：

“后世良知的学问不再昌明，天下的人各用自己的私心巧智彼此倾轧。因此人人各有自己的打算，于是，那些偏僻浅陋的见解，阴险诡诈的手段不计其数。一部分人以仁义为招牌，在暗处干着自私自利的事；他们用狡辩来迎合世俗，用虚伪来沽名钓誉，掠他人之美来作为自己的长处，攻击别人的隐私来显示自己的正派。因为怨恨而压倒别人，还要说成是追求正义；阴谋陷害，还要说成是嫉恶如仇；妒忌贤能，还自认为是主持公道；恣纵情欲，还自认为是爱憎分明。人与人之间彼此蹂躏，互相迫害，即使是骨肉至亲，互相也不能摒除争强好胜的心思，彼此间隔膜深重。更何况对于广大的天下，众多的百姓，纷繁的事物，又怎么能把它们看作是与我一体呢？如此，天下动荡不安，战乱频频而没有止境，因而也就见惯而不怪了。

“靠上天的眷顾，我在偶然间发现了良知学说，认为只有致良知才能天下大治。所以，每当想到百姓的困苦，我就十分沉痛，于是，不顾自己才智浅薄，而想用良知来拯救天下的苦难，真是不自量力啊。天下人看到我这样，都来讥讽、诽谤我，说我是丧心病狂的人。唉，这还有什么可顾虑的呢？我正在切肤的疼痛之中，哪有空闲对别人的讥讽斤斤计较呢？”

这一段话，表明了三层含义。第一层含义是，整个社会很堕落，自私自利、阴险狡诈，是普遍的社会风气。第二层含义是，我自己为了天下大治，不自量力，想用良知来改造天下，但天下人却来讥讽我、诽谤我。第三层含义是，我没有空闲在乎别人的讥讽。

《传习录》中，王阳明多次和学生讨论：别人不理解自己怎么办？如何面对别人的流言、中伤？王阳明还是用了最简单的方法：圣人是否也遇到这样的情况？遇到这样的情况圣人是怎么做的？黄勉之问：“《论语》中有‘叔孙武叔毁仲尼’的记载，为什么孔子这样的大圣人也免不了被人毁谤？”王阳明这样回答：

“毁谤是从身外来的，即使是圣人也无法避免。人贵在自我修行。如果自己真的是一个圣贤，纵然世人都毁谤他，也不能对他有什么损害。就像浮云蔽日，怎么能损害太阳的光辉呢？如果自己是个外貌恭敬庄重而内心空虚无德的人，纵然没有人说他坏话，他隐藏的恶终有一天还是会暴露无遗。因此，孟子说：‘有不虞之誉，有求全之毁。’毁誉来自外界，怎么能躲避？只要保持不懈的自我修养，外来的毁誉算得了什么呢？”

在另外的场合，王阳明也说过类似的话：

“从前孔子在世的时候，有人说他阿谀奉承，有人讥讽他花言巧语，有人诽谤他不是圣贤，有人诋毁他不懂礼节，有人侮辱他是东家的孔丘，有人因妒忌而败坏他的名声，有人憎恨他甚至要他的命。晨门、荷蒉都是当时的贤明之士，也说他是‘知其不可而为之者与？’‘鄙哉！硁硁乎！莫己知也，斯己而已矣’（磬声硁硁的，可鄙呀！它好像在说：没有人知道我呀！没有人知道自己，这就罢休好了）。

“子路虽然对于圣学的理解已经到了升堂的阶段，但还不能对孔子完全相信。孔子去见南子，他表现出了极大的不满，而且认为孔子迂腐。可见，当时不相信孔子的人何止十分之二三而已。但是，孔子依然匆匆前行，仿佛在路上寻找失去的子女，成天四处奔波，坐不暖席，这样做难道是为了别人能了解、相信自己吗？这是因为他有天地万物一体的仁爱之心，深感病痛紧迫，即使不想管也身不由己。

“因此孔子会感慨：‘吾非斯人之徒与而谁与？’（人是不能与飞禽走兽合群共处的，如果不同世上的人群打交道还与谁打交道呢？如果天下太平，我就不会与你们一道来从事改革了）‘欲洁其身而乱大伦’（只想洁身自好，却乱了君臣间大的伦理关系），‘果哉！末之难矣！’（坚持到最后是多么困难啊）唉！若非真诚地与天地万物为一体的人，又有谁能理解孔子的心情呢？至于那些远离世俗而没有烦恼的，那些乐天知命的人，自然可以什么情况下都悠然自得，就像日月运行、四时更替那样和谐而生机勃勃。”