在第四卷(仍在使徒信经的总题下)加尔文讨论到“大公教会”(CatholicChurch)及“圣徒相通”(CommunionofSaints)二事。在信经中这二者均指同一得救的团体。圣徒相通这词语“充分表明了教会的性格”，因为一切加给圣徒的神恩在他们中间都互相流通首。圣徒的真正的大会教会，那包括着已逝圣徒及所有被拣选者的，对我们是无形的，只有上帝知道。但那有形教会，由那些信主的人组成而分散于全世界各地的，亦同属于大公教会，我们和她必须契合，即使它当中有着假冒为善的人。正如居普良(Cyprian)所说的，教会是那些以上帝为父者的母亲：“没有别的方法好叫我们进入生命，除非由她怀胎，由她生产，由她乳养，并不断地在她的看顾管教之下。”(第四卷第一章第四节)。
我们应藉着福音的传播，虔敬的聆听，并履行依照基督所设立的圣礼，来认识有形的教会。“无论那里上帝的道被虔敬聆听，而圣礼未受忽视，”我们就可确信那里有真教会，而不可与之分离。谁退出了一个持守真道及圣礼的基督徒团体，在上帝眼中就是叛徒。教会的第三个标记即法规，这一点和组织的教会有关(详细讨论见第四卷第十二章)。若脱离真正的有形教会就是不承认上帝和基督。我们对宣扬圣道的要求，不可过于狭窄。没有人能完全避免错误，道德的标准更不当过于苛刻。我们不能要求人的生活象脱离了肉体的灵一般。我们不能找到毫无瑕疵的教会。当时哥林多的教会有许多人走入迷途，但保罗并没有咒诅它。教会是神圣的，这不是因为它已达到了无罪的地步，而是它每日进步，朝向圣洁。加尔文反复警告脾气乖张和骄傲的事，非但警告那些喜分派别的人，也警告那些喜作批评的会友，这些人之所以极端苛刻是由于他们虚夸地自以为比别人优越。关于严格惩训的事，加尔文认为不应做到使犯罪的人在精神上忍受不了(见第四卷第一章第八至十八节；第十二章第一节)。
虽然如此，当教义遭受曲解破坏，圣礼未受遵行的时候，加尔文认为**是必要而合理的，这可以罗马天主教的情形为例。罗马天主教的卫护者称希腊派为**派，因为他们背离教廷；可是罗马派自己是背离基督(见第四卷第二章第二节)。在我们不能找到上帝真道的地方，我们不能承认有教会的存在。是的，在罗马天主教里面还遗留着一些真教会分子，可是加尔文认为整个罗马天主教是处在反基督的暴政之下(见第四卷第二章第十一、十二节)。
合乎圣经教训的教政和牧职于是确立。加尔文认为真的教会的牧职应以新约为基础，可是使徒、先知及传道者的职务并非常设的，虽然他们在特别需要的时候曾再出现。在固定的牧养工作上牧师的职务相当于使徒，而教师的职务相当于早期教会的先知。使徒们为全世界所做的事，即是每一牧师应为他的一群会友做的。加尔文引证了好些经文来说明“主教”和“长老”是相同的：他们同为圣道的教牧。根据罗马人书第十二章八节及哥林多前书第十二章廿八节，他承认由“敬虔圣洁的人”所组成，担负训导而非教牧职责的“教政议会”的权力。并承认两类的执事，一类为管理救济穷人的款项，另一类直接负责救济事宜(见第四卷第三章第一至九节)。