蔣介石復職後，著手召開二屆四中全會。會前，蔡元培、吳稚暉、李石曾等監察委員提議不准與廣州事變有牽連的粵派中委出席二屆四中全會。國民黨中常會決定汪精衛、陳公博、甘乃光、顧孟餘四人停止出席全會。1928年2月2～7日，二屆四中全會在南京舉行。這次全會是國共分家以後，國民黨舉行的首次中央委員全體會議，也是南京國民政府成立後舉行的首次中央全會。大會由蔣介石主導。蔣以總司令兼軍委會主席，會後又兼任國民黨中央組織部部長、中央政治會議主席。大會改變了國民黨在聯俄容共時期所制定的方針政策，標誌著國民黨從思想理論和政策制度層面完成了從革命黨向執政黨的轉型。
汪派的政治前程因廣州事變而陷入谷底。但在二屆四中全會上，蔣介石對汪派留有餘地。全會重新推舉中央執行委員會委員、國民政府委員、軍事委員會委員，汪精衛均榜上有名。粵派委員中，陳公博、顧孟余、何香凝、甘乃光、王法勤、王樂平、陳樹人等仍保持中委資格。
改組派
汪精衛出走海外後，在陳公博主導下，發起了一場聲勢浩大的以改組國民黨為訴求的思想宣傳運動。這場以左派激進面目出現的運動贏得了一大批「清黨」之後處於苦悶、彷徨中的年輕國民黨黨員的支持。在理論宣導的基礎上，陳公博等人於1928年冬正式成立了「中國國民黨改組同志會」，其組織形態與政黨無異，實際上是在國民黨之外另立一黨。當時人呼之為「改組派」。改組派制定了自己的綱領和會章，建立了獨立於國民黨組織系統之外的中央領導機構和地方組織，推舉部分粵方委員（陳公博、顧孟余、王法勤、王樂平、潘雲超、朱霽青等）執行中央職權。地方組織則循著國民黨既有的地方黨部組織發展，結果進展十分順利。「改組派地方組織的負責人，也幾乎都是南京國民黨地方組織的負責人，並且還不少是主要負責人。」
陳公博是改組派的實際領袖，而置身海外的汪精衛則充當「精神領袖」。改組派屬於汪派的一部分，但不能完全等同汪派，因汪派人物和粵方委員並未盡入改組派（下文中，視情況或稱汪派，或稱改組派）。汪精衛本人即始終不承認是改組派的成員，儘管他贊成該組織，並對之發號施令。因他想當國民黨全黨的領袖，不願被人視為一派之首。
改組派對南京中央的態度，有一變化的過程。陳公博在談到改組派成立之初的情形時說：「改組同志會當時以政策為對象，而不是以人為對象，在當日成立時候，還是在汪蔣合作時期，因此，改組同志會對於南京人物始終保持一種沉默靜觀的態度。」直到「後來第三次全國代表大會開會，南京堅持一切代表均由指派，而粵方委員則主張選舉，由是改組同志會和南京始立於反對地位」。
實際上，汪派繼二屆四中全會失勢後，1928年8月召開的二屆五中全會，粵派委員出席問題再度成為各方反對的目標，陳公博、顧孟余等未能出席。值此之際，胡漢民、孫科等從法國致電南京，倡議開始訓政，設立五院。蔣介石鑑於全國政治名義上雖已統一，但各軍系勢力仍各據一方，難以駕馭，乃贊同胡、孫建議，邀彼等回國，以期增加中央政治號召力量。二屆五中全會後不久，胡漢民、孫科從海外回國。10月，國民黨中央接納胡漢民草擬的《訓政大綱》和「五院制」提議，將國民政府改制為五院制度。以此為契機，蔣介石與胡漢民合作，蔣擔任政府主席，胡擔任立法院院長。與汪精衛的左傾立場相比，胡漢民的右傾立場與國民黨「清黨」和執政以後的保守趨向更相妥恰。蔣、胡既合作，蔣氏便無繼續與汪派妥協的必要。汪派人物遂被摒棄於中樞之外，在五院中未能撈到一席之地，完全淪為在野派。汪派對蔣、胡操縱下的南京中央自然極表不滿。
三全大會
1928年底，東北易幟，國民黨形式上統一了中國。然欲邁向實質性的統一政局，端視黨權、軍權能否歸於一統。其具體辦法即為實施軍隊編遣和召開國民黨三全大會。而其結果，編遣會議加深了軍人之間的相互疑忌，而國民黨三全大會則促成了黨人之間的相互敵視。
「清黨」以來，蔣介石的新領導地位及其對黨的路線所做的大幅度的修正，始終沒有得到全黨的正式認可，故對他而言，召開一次新的全國代表大會實有其必要。也因為此，蔣氏亟欲完全掌控三全大會的政治方向和人事安排。1929年3月15日，第三次全國代表大會在南京開幕。這次大會是國民黨執掌全國政權後首次召開的全代會。按照國民黨黨章的規定，全代會將產生新一屆中央執監委員會。這意味著黨的最高權力資源將重新分配，自為黨內各派所矚目。大會代表如何產生，首先成為黨內關注的焦點。法理上，大會代表應由各省黨員選舉產生。但南京中央以黨員總登記未完成，多數省區尚未成立正式黨部為由，決定大會代表以中央指定為主，地方選舉為輔的辦法產生。當時地方黨部的政治態度和派系立場十分複雜，有擁蔣派、擁汪派、擁胡派及西山會議派等。其中以擁汪派力量最為雄厚。特別是陳公博的改組派理論在地方黨部和基層黨員中產生了巨大影響。對於這一局面，蔣介石自然亦瞭然於胸。如果完全採取自由選舉的辦法，南京中央難免失控。
當南京中央公布「三大」代表產生辦法後，各地反對聲浪四起。江、浙、魯、皖、豫、冀以及京、滬、平、津等省市黨部均通電聲言不能接受。但地方黨部的反對聲浪在某種程度上更堅定了南京中央指派和圈定的決心。據統計，實際出席「三大」的代表有358人，其中直接選舉產生者80人，僅占22.4%；由地方黨部選出加倍人數，由中央圈定者105人，占29.3%；由中央指派者173人，占48.3%。
大會代表產生後，以陳公博為首的改組派以黨內民主為訴求，嚴詞攻詆，指認大會代表指派比例占到96%以上，「實在算不得什麼代表大會，只配說蔣先生個人的御用會議」。大會開幕前夕，汪精衛、陳公博、顧孟余、何香凝、王樂平、甘乃光、王法勤等粵派委員發表宣言，強烈反對南京召開第三次全國代表大會。宣言發表後，立刻得到十餘個省市黨部的響應。他們在上海成立「中國國民黨各省市黨部海外總支部聯合辦事處」，並發表通電，拒絕接受南京中央的領導，擬由「二屆中委」另行召集「合法的第三次全國代表大會」，推翻南京的「偽中央」。在改組派的推波助瀾下，迅速在全國範圍內，尤其是中下層黨部和黨員中，展開了一場激烈的反三全大會運動。號稱有13個省黨部、5個市黨部和5個海外黨部參加了這個辦事處。如此聲勢浩大的下級反抗上級、地方圍攻中央的舉動，在國民黨歷史上空前絕後。
各地黨部的反三全大會運動，使南京中央大為困窘，也凸顯了南京中央無法駕馭中下級黨部的事實。但改組派除了通電宣言外，缺乏更有力的抗爭武器。國民黨三全大會仍如期召開。大會追認了「清黨」以來的新路線和以蔣氏為首的新黨中央。汪派代表人物則受到嚴厲的整肅：陳公博、甘乃光被「永遠開除黨籍」，顧孟余被開除黨籍3年，汪精衛則受到書面警告。汪派與南京中央徹底破裂。
「三大」產生新一屆中央執行委員36人，候補執行委員24人，監察委員12人，候補監察委員8人。內中蔣派占絕對優勢。據當時人觀察，在80名中央委員中，蔣派占了44人。會後，蔣介石以中央常委兼組織部部長，而以其親信陳果夫兼組織部副部長，陳立夫任中央黨部秘書長。陳氏兄弟執掌國民黨中央組織大權後，在全國各地迅速凝聚一股以國民黨地方黨務幹部為基礎的政治派系勢力。人稱CC系。
第三屆中委中，汪派和西山會議派基本上被排斥出局。地方軍系中，閻錫山、馮玉祥首次當選，而桂系因出兵湖南逼迫湖南省主席魯滌平去職，受到大會處分，李宗仁、李濟深、白崇禧等被「永遠開除黨籍」。這一權力資源分配的新格局，埋下了日後左翼之汪派、右翼之西山會議派與地方軍系聯手反蔣之伏筆。
依據1928年10月國民黨中央常會通過的《訓政綱領》，「中華民國於訓政時期，由中國國民黨全國代表大會代表國民大會領導國民行使政權」。國民黨「三大」追認了這一《訓政綱領》。這意味著國民黨全國代表大會由黨的最高權力機關，提升為國家的最高權力機關。徑以黨的全代會代行國民大會的職權，以黨魁遺教代行國家之憲法，充分體現其濃烈的黨治特色。
與前兩次全代會相比，國民黨「三大」通過的決議案不再囿限於黨務，還包括政治、外交、軍事、經濟、教育等一系列重要決議案。這些決議案被視為國民黨訓政時期國家施政的基本準繩。
國民黨「三大」對黨章做了大幅度的修正：一是實行預備黨員制度；二是加強黨紀，如規定黨員不得加入其他政黨，不得有小組織；已開除黨籍之黨員，不得在政府機關服務等；三是廢除「黨團」制度。此外，全國代表大會會期，由一年改為兩年。