杨光先在当时社会真正被接受的是他算命的技术。他真正被社会认可的身份是“术士”。前文提到过，给汤若望写过贺信的魏裔介就在他写的书中引用和提到过杨光先的算命理论。传教士南怀仁也承认杨光先是懂算命术的术士，但同时指出他不懂天文历法。康熙中期，朝廷禁止过一些命书，禁书书单中就有杨光先的著作。

在传统社会，算命风水是社会生活中不可或缺的一部分。老百姓一出生，取名、开蒙、读书、考学乃至后来的婚丧嫁娶都离不开占算。中国传统数学就有很大一部分跟算命风水测算等相关。算命自古就是一个大行业。上至帝王将相，下至贩夫走卒，都或多或少要用到算命。在朝廷中，提供算命风水等相关技术的部门就是钦天监。钦天监的一大职能就是要根据观测到的天文，制定每年的黄历。黄历之中包括了很多测算中需要的信息。杨光先精通的是紫微斗数。这个算命方法至今仍然是最流行的算命方法之一，在互联网上的各大算命论坛都能看到。紫微斗数不属于秘传算命方法，有很多书存世，供有兴趣之人自行钻研。因而，紫微斗数一直是社会中广泛使用的算命方法。

黄一农教授细致考证过杨光先和汤若望主持的钦天监产生矛盾的渊源。中国传统天文把天空分成二十八个扇形区间，每一个区间就是一宿，俗称为天宫二十八宿。由于地球在围绕太阳公转的同时，还在绕着地轴自转，会产生岁差。这样经过几百年以后，站在地球同一位置、同一时节观测到的星空和几百年前是不一样的。清朝初年，汤若望根据自己的观测，把传统天宫图中相邻的参宿与觜宿的位置做了改动。由于他当时是钦天监监正，这一改动就成了代表朝廷做出的官方改动。

而这一改动对很多算命风水堪舆术都造成了冲击。现代社会，星宿已经不在日常话语体系之中。但在古代，星宿的基本知识是读书人必备的，属于他们生活的一部分。最直接的例子就是杜甫的名句：“人生不相见，动如参与商。”“参”与“商”就是两个星宿，而这句诗还与两个星宿在天宫的位置相关，即这两个星宿不会同时出现在人的视野中。杜甫的这句诗表明，星宿是他以及诗的读者共有的常识。还有风水中常说到的青龙、白虎、玄武，这些也是星宿知识的一部分。尽管汤若望当时对参宿与觜宿的位置改动是根据观测结果来的，而且结果还经过其他人的核实，但他改变不了的是参、觜在算命风水等书中各有指代，同时参、觜二者的五行还正好相对，参属水而觜属火。他这一改，一些书中的推演法则、判词就失灵了。所以汤若望这看似是一个科学观测的修正，却对整个测算行业都有很大影响，尤其是对杨光先等擅长紫微斗数的人更是影响重大。紫微斗数算命是基于人的出生时间和年月日，找出人的生辰八字。比如2020年是干支纪年法中的庚子年，然后再根据规则，将月、日、时辰各兑换成天干地支中的两个字，这样与年合在一起就是人的生辰八字。一个人的生辰八字是不变的，就是所谓命。而紫微斗数推演一个人每年的不同际遇，就是用八字去比对不同年份的天宫图，然后进行预测。所以天宫图中星宿的排列对紫微斗数至关重要。杨光先最先盯上汤若望，并不是因为天主教，而是在汤若望改了天宫图以后。

为了扩大影响，杨光先将汤若望改天宫图的问题上升到汤不尊重中华古制、不尊重儒家传统的层面，以期在士人圈子中取得更多的支持。公正地说，杨光先的逻辑也不完全是牵强附会。从周文王幽而演《易》，到孔子勤奋读《易》“韦编三绝”，中国传统士人历史上就一直和推演、各种算命术有不解之缘。古人没有今人的科学观，所以算命技术高超是被社会肯定的。士人能推演未来，被认为是懂得自然韵律、感知天道的表现。因而，杨光先称汤若望修改天宫图破坏了中国传统，想以此得到北京士人的支持，也不能说是无稽之谈，异想天开。