关于教会问题加尔文所主张的要点详见《基督教要义》第四卷及其他短篇。但我们须特别注意，对这问题不只他的思想，而且他的政策，以及他所努力的，都集中于促进教会的大公性。他所说的“教会”往往指有形的大公教会，但亦指出它和上帝的无形教会的关系––有形教会即无形教会在世上的表现。他关心各地教会的情形，认为改革以前的教会非但腐败，且亦**。在讨论天特会议的一篇短文中(一五四七年)他说：
“教会既然分散于各地……那整体的教会究将如何，我们只能付托在主手中。可是我们不可怠惰疏忽，须尽我们的能力，贡献我们所有的聪明才智和精力，把破碎的教会建立起来。”
加尔文继路德之后鼓吹以教会会议来进行改革工作。他对于召集一个自由、普世、有真实代表性的会议不敢存大希望，但亦非完全绝望。一五六○年他发表声明，提出这种会议所必需的条件。同时不断鼓吹尽地理上的可能多举行联合会议，类似古代教会所举行的省级议会。法国，荷兰，苏格兰等教会能够有此等议会的组织，大半是受加尔文影响。在这些教会里，各项议案均由选举的代表机关决定，而平信徒和教牧同样的有选举权。一般说来，这些教会都恐惧国家干预他们举行自由立法会议之权，时存戒备。约翰诺克斯对弥特兰(Maitland)关于此事的批评曾热烈答辩说：“剥夺了我们聚会的自由，即等于剥夺了我们的福音。”当时各改革宗教会，至少在本国领土范围之内，对于维护议会的原则所作的奋斗，多少能达到目的。一**七年在威斯敏斯德举行的议会宣称：“合法的教会议会有省级的，全国性的，和普世议会。”由各单位代表为基础的普世组织，迄今仍未实现。可是普世教会运动在目前世界性会议的影响之下，又显示了新的希望。
加尔文对复原教的统一寄与极诚恳的希望，而对故意造成的**极表痛恨。在他的《哥林多前书释义》第一章第二节及第三章第十一节，他提起教会中的**是“极端可怕的”。他认为只有完全顺从上帝的话，教会才能够获得统一的基础；但他并不坚持外表形式的一致。一五五五年在他写给逃亡于法兰克富的英国人信中，他说：“对于那些无关紧要的事，如形式仪礼等，我的态度是迁就和顺应的。”又在《哥林多前书释义》第十二章第四节说：“教会的和谐在乎多方面的一致，”如同交响乐一般。这是一种和谐地联合在一起的统一，不是依权力强制的一致。
据我们所看到的，复原教的开始并非一种完整统一的运动。统一它的各派的工作对十六世纪的领袖们是太大的任务，而且以后复原教会在各地的繁盛扩展，益发增加统一工作的困难。但加尔文对这任务仍抱希望。在《答沙杜里多》(一五三九年)篇中，他借那位牧师见证的话说：“为着教会的统一，我的热情在心中燃烧着”，这话无异是他的自传。他主张举行教会会议，好使瑞士各教会能有更密切的合作及团契。结果是一五四九年的区利赫合一信条(ConsensusofZurich)，由加尔文及布灵尔联名发表有关圣餐问题的声明。同时，加尔文不断地寻求和路德派合作的途径，并希望以这合一信条作为合作的基础。许多路德派的人亦同具此种希望；但其中一部分顽固分子因受维斯特法勒(JoachimWestphal)及其他作家的煽动，终于破坏了团结的目标。加尔文在一五五四年说，如果路德当时还活着，“他一定不至于那么苛刻和难以相处。”加尔文对英国的改教运动亦经常联系。为应克兰麦(Cranrner)之要求，他在一五五二年写信给大主教，说他“愿意远渡重洋，为促进教会的团结奔走。”以后几年，在伯撒的积极襄助之下，他曾多次和日耳曼神学家联络。他的这些努力终归失败，这失败的部分原因或者在于布灵尔及其他德语区瑞士教会之不愿意和路德派会商。一五八一年日内瓦的一位牧师撒尔佛(J.F.Salvard)和伯撒合作，发表正统教会和改革教会信条合参(HarmonyoftheConfessionsofOrthodoxandReformedChurches)，其序文得到法国及荷兰教会之认可，要求一切基督的教会通过一个大会，实行联合。