關于教會問題加爾文所主張的要點詳見《基督教要義》第四卷及其他短篇。但我們須特別注意，對這問題不只他的思想，而且他的政策，以及他所努力的，都集中于促進教會的大公性。他所說的“教會”往往指有形的大公教會，但亦指出它和上帝的無形教會的關系——有形教會即無形教會在世上的表現。他關心各地教會的情形，認為改革以前的教會非但腐敗，且亦**。在討論天特會議的一篇短文中(一五四七年)他說︰
“教會既然分散于各地……那整體的教會究將如何，我們只能付托在主手中。可是我們不可怠惰疏忽，須盡我們的能力，貢獻我們所有的聰明才智和精力，把破碎的教會建立起來。”
加爾文繼路德之後鼓吹以教會會議來進行改革工作。他對于召集一個自由、普世、有真實代表性的會議不敢存大希望，但亦非完全絕望。一五六○年他發表聲明，提出這種會議所必需的條件。同時不斷鼓吹盡地理上的可能多舉行聯合會議，類似古代教會所舉行的省級議會。法國，荷蘭，甦格蘭等教會能夠有此等議會的組織，大半是受加爾文影響。在這些教會里，各項議案均由選舉的代表機關決定，而平信徒和教牧同樣的有選舉權。一般說來，這些教會都恐懼國家干預他們舉行自由立法會議之權，時存戒備。約翰諾克斯對彌特蘭(Maitland)關于此事的批評曾熱烈答辯說︰“剝奪了我們聚會的自由，即等于剝奪了我們的福音。”當時各改革宗教會，至少在本國領土範圍之內，對于維護議會的原則所作的奮斗，多少能達到目的。一**七年在威斯敏斯德舉行的議會宣稱︰“合法的教會議會有省級的，全國性的，和普世議會。”由各單位代表為基礎的普世組織，迄今仍未實現。可是普世教會運動在目前世界性會議的影響之下，又顯示了新的希望。
加爾文對復原教的統一寄與極誠懇的希望，而對故意造成的**極表痛恨。在他的《哥林多前書釋義》第一章第二節及第三章第十一節，他提起教會中的**是“極端可怕的”。他認為只有完全順從上帝的話，教會才能夠獲得統一的基礎；但他並不堅持外表形式的一致。一五五五年在他寫給逃亡于法蘭克富的英國人信中，他說︰“對于那些無關緊要的事，如形式儀禮等，我的態度是遷就和順應的。”又在《哥林多前書釋義》第十二章第四節說︰“教會的和諧在乎多方面的一致，”如同交響樂一般。這是一種和諧地聯合在一起的統一，不是依權力強制的一致。
據我們所看到的，復原教的開始並非一種完整統一的運動。統一它的各派的工作對十六世紀的領袖們是太大的任務，而且以後復原教會在各地的繁盛擴展，益發增加統一工作的困難。但加爾文對這任務仍抱希望。在《答沙杜里多》(一五三九年)篇中，他借那位牧師見證的話說︰“為著教會的統一，我的熱情在心中燃燒著”，這話無異是他的自傳。他主張舉行教會會議，好使瑞士各教會能有更密切的合作及團契。結果是一五四九年的區利赫合一信條(ConsensusofZurich)，由加爾文及布靈爾聯名發表有關聖餐問題的聲明。同時，加爾文不斷地尋求和路德派合作的途徑，並希望以這合一信條作為合作的基礎。許多路德派的人亦同具此種希望；但其中一部分頑固分子因受維斯特法勒(JoachimWestphal)及其他作家的煽動，終于破壞了團結的目標。加爾文在一五五四年說，如果路德當時還活著，“他一定不至于那麼苛刻和難以相處。”加爾文對英國的改教運動亦經常聯系。為應克蘭麥(Cranrner)之要求，他在一五五二年寫信給大主教，說他“願意遠渡重洋，為促進教會的團結奔走。”以後幾年，在伯撒的積極襄助之下，他曾多次和日耳曼神學家聯絡。他的這些努力終歸失敗，這失敗的部分原因或者在于布靈爾及其他德語區瑞士教會之不願意和路德派會商。一五八一年日內瓦的一位牧師撒爾佛(J.F.Salvard)和伯撒合作，發表正統教會和改革教會信條合參(HarmonyoftheConfessionsofOrthodoxandReformedChurches)，其序文得到法國及荷蘭教會之認可，要求一切基督的教會通過一個大會，實行聯合。