在豪格1648年去世以后，两位神父的奴籍转到了佟图赖名下。佟图赖是正蓝旗汉军都统，是整个佟氏家族的核心人物。满人八旗，每一旗有一位旗主，旗下又分为满、蒙、汉三旗，也就有三位都统。由于旗主必须是努尔哈赤的后代，所以都统这个职位是非努尔哈赤后代在八旗中能达到的最高职位。

明末以来，佟氏家族一直是满人龙兴之地-辽东地区的名门望族。努尔哈赤娶的第一位夫人就来自佟家，他还用“佟”作为他的汉族姓氏。佟氏家族从努尔哈赤时期起就在满人政坛中有重要地位。满人1644年入关以后，佟家子弟遍布朝野，当时甚至有“佟半朝”一说。

在满人政坛中，佟氏家族的最大特点是其成员兼具满人和汉人两方面的文化特点。由于康熙的母亲出自佟家，因而佟家是汉人还是满人就决定了康熙到底有没有汉人血统的问题。历史上一直争论不清到底他们是汉化了的满人还是满人化了的汉人。但无论观点如何，都承认佟氏兼具了汉满两方面的特质。在17世纪初，明清在争夺辽东的时候，两方也都认为佟氏家族是自己人，两方都在争取他们。”在辽东地区，佟氏是少有可算作书香门第的家族。1616年，佟卜年中了明朝进士。当时明朝廷经营辽东的熊廷弼就把佟卜年招致麾下，希望他能作为佟氏的代表，帮自己打理辽东。

佟氏家族中的佟养性和佟养真在1619年投奔到努尔哈赤帐下。努尔哈赤按照游牧民族的老传统，嫁了自己氏族中一位女子给佟养性，把他称为额驸（驸马），这样通过婚姻纽带来巩固双方的关系。在明廷看来，两位佟氏重要人物投靠努尔哈赤，意味着整个佟氏家族的叛变。因而佟氏家族的成员在明朝疆域内集体受到了牵连。按照佟家后人的记载，佟家成员一些被迫逃进山区，有些不得不隐姓埋名来躲避明廷的追查。佟卜年也被查下狱，最后冤死狱中。至死，佟卜年都在喊冤，死前还留下了一份绝笔痛陈其清白。

满人没有介意佟氏和明朝的种种联系，反而视佟氏家族与汉人的联系为佟氏的特有价值所在。努尔哈赤和后来的皇太极都信任佟氏家族的人，佟氏家族的人在满人军队和朝廷都得到重用。1620年代以后，皇太极更是直接把所有与汉人相关的事务交给佟养性来打理。这包括满人区域内的汉人、明疆域内迁徙过来的移民，以及在战争中抓到的汉人俘虏。

利类思、安文思在奏本中提到的佟图赖是佟养真的二儿子，是满人朝廷中“佟二代”的领军人物。从军事上来说，佟图赖声名显赫，不仅在最初满人的辽东扩张中有各种军功，在后来攻占明朝本土、消灭南明势力时，也立了大功（他带的部队人关以后一直打到广西）。入关以后不久，顺治皇帝还娶了佟图赖的女儿。1654年，也就是利类思、安文思上奏本的前一年，佟氏给顺治皇帝生了一个儿子。这个儿子就是后来的康熙皇帝。

对于佟氏家族，跟本书相关的一个问题就是，为什么佟图赖会在豪格死后，同意接收利类思、安文思成为自家的奴才？而且让他们二人吃住在自己的府上，也即让他们做的不是普通奴才，而是包衣奴才？“包衣”是满语的音译。据清史前辈孟森解释：“包”是满语“家”的意思，而“衣”相当于汉语中的虚字，类似于“之”字。包衣奴才就是指跟主子关系最近的、家周围的奴才。满人人关以后，包衣奴才专指满人权贵家里面的奴才，是整个奴才群体中地位最高的一群。后来许多清朝名人都是包衣奴才出身。比如曹雪芹的祖父曹寅，他就是康熙的包衣。

对于佟图赖为什么会把两位传教士收入府中做他的包衣，当时在北京的汤若望在写给欧洲的书信中解释过，他说是因为佟图赖和西洋人的关系一直都好，和他自己的私交也很好。汤若望所谓的“和西洋人关系好”指什么？如果真是这样，那么这个好关系又是怎么建立起来的？这些问题和佟氏家族与清朝汉军八旗建立的历史有关。