张勋复辟，黎元洪逃到日本公使馆避难时，海军总长（国民党员）程璧光在上海，他曾派军舰两艘到秦皇岛迎黎南下，同时以海军总长名义发布海军讨伐叛逆的电报。这时冯国璋还在南京，对于程璧光的行动颇为不满。而北洋军阀认为李经羲在6年6月24日组阁时已发表萨镇冰为海军总长，调程璧光为海军总司令，程不应以海军总长名义自由行动。可是国民党认为从6月14日张勋到北京起，黎元洪就失去自由，李经羲内阁根本是张勋的傀儡工具，6月14日以后的总统命令应当视为无效，所以程仍以海军总长名义在上海宣称奉大总统命讨逆。
孙中山在上海曾有一通忠告段祺瑞的严正电文，这是7月19日发出的，电云：
“民国不幸，伪清僭据，足下以为马厂偏师，恢复共和，重奠京邑，此盖强虏自亡之会，而亦足下迷复之机。伏念共和、帝制迭相乘除，已历三次。所以起灭无常者，实由是非不定，刑赏无章耳。夫洪宪佐命之徒，宣统复辟之辅，其为帝制罪犯一也。去年洪宪祸首，隐忍未诛；佐命者既得从宽，则复辟者当然无忌。徐州、彰德二次会议，（张勋发起徐州会议会，与会各省曾在彰德会议一次。）正在足下初任首揆之时，拱手处中，不能锄治，而复奖以勋权，启其骄悍，是以伏戎遍国以有今日。而民间清议，亦谓复辟之祸叛督实为先驱。要求宣战之不已，以至殴击议员；殴击议员之不已，以至解散国会；解散国会之不已，以至复建伪清。本为一人保固权位，以召滔天之灾；足下奖成此患，岂得不为追咎。文于数月前，曾献忠言，不蒙采纳。至黄陂不得已而下免职令，犹不悛改，悻悻以引起祸乱，不负责任为词。今日因败为胜，功过相偿，天日鉴临，人心共谅。乃总理一职，既无同意，亦无副署，实为非法任命；果出黄陂手谕与否，亦未可知。足下当以义师首领自居，岂得以国务总理为号，以免职兴戒，而以复职自贵，狐埋狐搰，皆在一人，岂所谓为国忘身者乎。张勋以愎戾之资，悍然复辟，所统辫兵，素无训练，其势本易与耳；张绍曾等倡谋讨逆，近畿将领，不少靖献之人；器械完利，士马精强，扑灭殷顽，易如反掌；徐州余寇，复何足云；而足下必任段芝贵为东路总司令，倪嗣冲为三省总司令，段本洪宪元凶，倪则叛督首领，一蒙驱使，得冒天功以为己力，沮忠正倡义之气，开叛人狡诈之端，岂自比明之熊文灿耶。乃又抑止诸军，不容兴师致讨，欲以易成之绩，交与倡乱之人，偏私狭隘，毋乃过甚。丙辰近鉴，贻祸相同，此又足下所宜自省者也。文愿足下，上畏民岩，下思补过，任良将以伸正气，讨群叛以塞乱源，诛洪宪佐命以示至公，戮伪主溥仪以惩负约，保国赎愆，敦善于此。若以小腆易败，据为大功，因势乘便，援引帝党，擅据鼎钟，分布爪牙，则西晋八王之相驱除，唐末朱、李之相征讨，载在史册，曲直无分。正恐功业易隳，祸败踵至，凡我国民，亦不能为辅助矣。以足下天性强毅，本非狐媚之人，故愿尽忠以告，是非利害，在足下自审之耳。”
复辟时，广东省长朱庆澜曾派人到上海和孙中山联系，同意以广州为护法的根据地。7月10日孙中山率领应瑞、应琛两舰到汕头，13日派章炳麟先到广州接洽。广东内部虽然复杂，可是对孙中山仍然欢迎。因此孙便于7月17日到广州，广东督军陈炳焜和省长朱庆澜都到江岸欢迎。且在黄埔公园举行了欢迎大会。
孙中山在欢迎大会发表演说，揭破了复辟是北洋军阀所布置的政治圈套，他说：“段祺瑞引用段芝贵、倪嗣冲这些复辟派做讨逆军统帅，以逆讨逆，忠奸不分。今天的中国，不是复辟与共和之争，而是真共和与假共和之争。今天真复辟者少，假共和者多。”这真是一针见血的话。
7月22日程璧光和海军第一舰队司令林葆怿自吴淞率领所属舰支开赴广东，唐绍仪、汪兆铭、伍廷芳等同行。就是这一天，他们由海军舰队发出宣告，通电自主，他们提出佣护《约法》，恢复国会，惩办祸首三项主张。并称自《约法》失效，国会解散之日起，一切命令无所根据，应视为无效，亦不承认发布命令之北京政府。
孙中山与驻沪海军是事先约好的，海军第一舰队南下护法，这使段祺瑞在北京大为震动。段内阁为了紧急应变，立即调升第二舰队司令饶怀文为海军总司令，并以林颂庆为第一舰队司令，杜锡珪为第二舰队司令。7月25日段内阁并发表广东省长朱庆澜和广西省长刘承恩对调。朱庆澜以广东自主为理由，拒绝接受这个命令。
广东在当时的西南，是政治和军事中心，不过广东内部的情势很不稳，虽然不像四川那么表面化，可是也是极复杂。段祺瑞对广东是采取一方面自外面施加压力，一方面在内部制造分化，利用地方派军人的排外主义，企图制造广东内部主客两军互相混乱，使北洋军能乘虚而入。当时北洋派势力已占领了福建和江西，这两省和广东毗连，段打算拿这两省当作进攻广东的跳板，同时从海道运兵在广东沿海地区登陆。段这个计划受阻于江西，因为江西督军陈光远是直系，直、皖两系对于向南方用兵意见不一致，所以后来段乃派兵取湖南另开一条取广东的路线。
广东内部一直不稳，几种势力明争暗斗。桂系军人陈炳焜是广东督军，自居于统治者地位，但是省长朱庆澜也有兵权，他统率警卫军及地方派军人。他们之间是对立的，督军和省长对立，桂系军人和广东地方派军人对立。另外，在北江还有滇军两师兵力驻防，由李烈钧率领，是国民党的基本武力。广东地方派军人有时和国民党联合以对抗桂系，有时又在南方与北方之间、国民党和桂系之间摇摆不定。
两广是在督军团叛变和国会被解散时宣称“自主”的。北京复辟时，桂系便高唱出兵，不过实际上却没有行动，主要是想利用时机以统一广东的军权。驻粤滇军以及朱庆澜所属的警备军也想北伐，但是桂系不肯给予军事装备。李烈钧事后曾指责陆荣廷，说他故意躲在家乡武鸣装病，坐失北伐良机，让段祺瑞重登政坛玩弄一切。
广东的桂系既然是统治者，对于滇军和地方武力便吝不予军费，逼得驻防各县的地方军纷纷就地筹饷。朱庆澜以省长名义发行救国公债，滇军则提印花税甚至扣留鸿安公司的鸦片以充军费。桂系便以此为理由打击滇军和朱庆澜。
桂系所搞的自主，完全是一种投机手段，他们认为自主是半独立，在半独立情形下，他们采取联冯倒段的策略。因为是半独立，对于北京政府的命令便根据自己的利益来决定应付办法。陈炳焜在孙中山到广州后不久即赶到梧州请示陆荣廷应该如何应付，陆认为抗拒孙会惹大反感，首先应该排斥朱庆澜而把地方武力夺过来。陈返穗后即照陆意思做，策动肇阳罗镇守使李耀汉驱逐朱，以省长职位饵李。朱在李耀汉的压迫下向省议会辞职，并要求准予将省长亲军20营交给陈炯明接管，这批亲军朱是从龙济光手上接收过来的，当时有兵额40营，接收后编为省长直辖的地方保安部队，其后被陈炳焜分出20营，余下的编为“省长亲军”，由陈炯明为司令。朱去职时打算把这批亲军改编为海军陆战队，仍以陈炯明为司令，名义上则属于程璧光的海军节制以免落入桂系手中。
8月26日朱庆澜把省长大印交给省议会，根本不理睬陈炳焜就去了香港。陈大为愤恨，当天在布告中说他是“私人出走，有心扰乱治安。”
8月28日广东省议会选举胡汉民继任省长，这种选举并不合法，可是广东既已经自主也只有从权了。省议会选胡的理由是因为胡做过第一任广东都督。可是桂系当然是持反对态度，因此陈炳焜派人到省议会抢了省长大印，且以督军命令接收了省长亲军。另一方面陈炳焜早已向北京政府保举李耀汉为广东省长。段内阁对于这个自主的省区竟承认北京政府的人事任命大权，实在喜出望外，他巴不得桂系和国民党矛盾扩大，所以北京政府于8月31日正式命令李耀汉为广东省长兼肇阳罗镇守使。在国民党来说，当时最重要的工作是召集非常国会，因此自不愿在省长问题上与桂系闹翻，宁愿拿省长来交换桂系对组府问题不加干涉。于是胡汉民便向省议会辞谢省长，举李耀汉为代，省议会乃举李为省长。
这期间，国会议员在孙中山邀请下已纷纷南下，8月中旬，国会议员到广东的已有130余人，多数为国会中的政学会、益友社、民友社三系议员。8月18日孙中山在黄埔公园欢宴他们，席间大家决定贯彻护法主张，组织护法政府。19日国会议员们发出通电云：
“民国不幸，祸患频仍。倪逆称兵。国会被毁。张贼复辟，国体动摇。造乱之徒乘机窃政，托名讨贼，推翻《约法》，擅立政府，易置总统。执法以绳，厥罪为均，又复叠逞狡谋，围湘窥蜀，输兵南下，其势骎骎，凭借北洋，压制全国，充类至尽之义，吾民宁有噍类之存？所幸诸公独持正义，兴师讨贼，信誓在人，救我黔黎，定兹国难，公等之责，吾民之望也！同人等或受国民之托，职务未终；今被国贼之驱，责任难弃；用依《约法》自集于粤。人数未满法定，本难遽行开会。惟念时局之危，间不容发，西南散处，意志辄殊，对外则冯、段宣战，我将何以处德、奥？对内则黄陂孤陷，我将何以设政府？凡兹重要，亟待讨论。爰绎主权在民之则，师法人国变之例，特决定本月廿五日于广州开非常会议，以谋统一，以图应变。区区之意，如斯而已。”
《国会非常会议组织大纲》于6年8月29日在广州议决公布：
第一条：国会非常会议，以现任国务议员组织之。
第二条：国会非常会议之议事，以参众两院议员会合行之。
第三条：国会非常会议至内乱戡定，《临时约法》之效力完全恢复时为止。
第四条：国会非常会议非十四省以上之议员列席，不得开议。蒙古、西藏、青海、华侨各选区以省论。
第五条：国会非常会议之议事，以列席过半数议决之。
第六条：国会非常会议之正、副议长，就现任两院正、副议长内推定之，正、副议长均有事故时，得选举临时议长。
第七条：国会非常会议得设各委员会。
第八条：军政府组织大纲，由国会非常会议制定，并宣布之。
第九条：国会非常会议于军政府有交议事件，或由六省以上之议员联合提议时，得随时开会议决。人民请愿事件经委员会审查后，得提出议决之。
第十条：本大纲有议员四十人以上之连署，得提议修改，以列席议员三分之二以上议决之。
第十一条：本大纲自宣布之日施行。
8月31日非常国会通过《中华民国军政府组织大纲》，并宣布如下：
第一条：中华民国为戡定叛乱，恢复《临时约法》特组织中华民国军政府。
第二条：军政府设大元帅一人，元帅三人，由国会非常会议分次选举之，以得票过投票总数之半者为当选。
第三条：《临时约法》之效力未完全恢复以前，中华民国之行政权。由大元帅行之。
第四条：大元帅对外代表中华民国。
第五条：大元帅有事故不能视事时，由首次选出之元帅代行其职权。
第六条：元帅协助大元帅筹商政务。
元帅得兼任其他职务。
第七条：军政府设立各部如左：
一、外交部。二、内政部。三、财政部。四、陆军部。五、海军部。六、交通部。
第八条：各部设总长一人，由国会非常会议分别选出咨请大元帅特任之。
前项选举，以得票过投票总数之半者为当选，但遇总长缺位未经选举以前，大元帅得为署理之任命。
第九条：各部总长辅助大元帅执行职务。
第十条：元帅府及各部之组织，以条例定之。
第十一条：军政府设都督若干员，以各省督军赞助军政府者任之。
凡有举全省兵力宣布与非法政府断绝联系者，依前项之规定。
第十二条：本大纲至《临时约法》之效力完全恢复，国会及大总统之职权完全行使时废止。
第十三条：本大纲自宣布之日施行。
9月1日非常国会根据军政府大纲选举大元帅，孙中山在91票中以84票当选，次日补选元帅二人，陆荣廷以76票，唐继尧以93票当选。
9月10日军政府宣告成立，孙中山就大元帅职。非常国会并选出唐绍仪为财政总长、伍廷芳为外交总长、孙洪伊为内务总长、张开儒为陆军总长、胡汉民为交通总长。孙中山并以大元帅名义任命李烈钧为参谋总长、林葆怿为海军总司令、方声涛为卫戍总司令、李福林为亲军总司令、章炳麟为秘书长、许崇智为参军长、李耀汉为筹饷总办。
护法政府并未得到西南军人的支持，云南唐继尧不理不睬，而桂系陆荣廷更为冷淡。
非常国会选出唐继尧为元帅后，9月8日唐来电不受元帅，非常国会和孙大元帅都去电劝勉，同时派章炳麟为劳军使，携带元帅印前往昆明，请唐接受。
不久孙中山又发表唐继尧为川、滇、黔三省靖国军总司令，唐态度仍不合作，甚至滇军师长张开儒被护法政府派为陆军总长，也不就职。
在非常国会选出陆荣廷为元帅的当天，陆致电非常国会表示自己的政见，反对另组政府，主张黎元洪总统复职，同时通电全国声明“以后广东发生任何问题，概不负责”。非常国会对陆这个态度未敢谴责，且于9月3日补作一项决定，迎接黎元洪南来继续执行职权，孙中山也通电表示迎黎的态度。
桂系的广东督军陈炳焜则表示另一种态度，他于9月8日招待广州报界，解释自己的立场，他说：“冯代总统的地位是合法的，段内阁的地位是非法的，所以我们反段不反冯。”至于在广州组织军政府问题，他说，“我不能表示赞成的态度，也不愿采取干涉的态度，但是广东人民不能担负军政府和非常国会的经费开支。”
护法的军政府是设在广州的黄埔公园。当时南来的国会议员可分为三大系，即（一）政学系，（二）益友系，（三）民友系。政学系自称为旧国民党系的稳健派，其领袖李根源是拥护岑春煊的，岑和陆荣廷有部属关系，而岑、陆又和李根源有护国时期在肇庆军务院的关系，云南唐继尧亦因这种关系而有瓜葛，因此政学系在云南和广西占有人和之利。政学系内分为两派，一派是南关五十号，由杨永泰出资组织，为民主政学系之一部分，约有30余议员，拥岑春煊为领袖，重要人物有章士钊、冷遹、张耀曾、谷钟秀、杨永泰、徐傅霖、李肇甫、文群、孙光庭等。一派是石行会馆，系由李根源竭力组成，约占70余议席，利用漠不相关之莫荣新为傀儡。两派主张完全一致，在南方称为主和派，与民友社的主战派对立。
益友系就是益友社，为旧国民党系嫡派中的温和派，其机关原为“褚寓”，主张采进步的唯民的倾向，态度温和，是政学系和民友社中间的调和人，也是非常国会中的多数党，议席近300人。以吴景濂、褚辅成、王正廷等为领袖，这三人中吴为众院议长，褚为副议长，王为参院副议长。
民友系就是民友社，是旧国民党中的急进派，在国会中为最硬派，故有主战派之称。其机关部原为照霞楼，在旧国会中为唯一激烈派。其包含的分子有（一）同盟会嫡派，以林森、谢持、马君武、丁象谦、居正、田桐等为中坚，（二）韬园俱乐部以孙洪伊为首，（三）为共和派。
在非常国会中，政学系人数虽不多，可是最能翻云覆雨，其他还有新新俱乐部系，系新补两院议员的集团，在非常国会中议席近200人，其政治见地虽随个人之历史与地位而不同，但大多数和益友社系较接近，其党纲采全体合议制，著名人物有张知本、何陶、尹成福、刘云昭、赵中鹄、孔昭成。
内中倾向褚寓的有60名，倾向照霞楼的约50名，倾向政学会的约60名。此外还有蒙古议员俱乐部、文社、广东议员俱乐部、广西议员俱乐部、云南议员俱乐部等五小政团。
原来国会议员南来参加护法的只有100余人，召集正式国会不足法定人数，乃借用民国2年议院法第七条“议员于开会后满一个月尚未到院者，应解其职”之规定，把没有南来的参、众两院议员解职，然后由候补议员递补，凑足法定人数。
护法军政府成立后，段祺瑞要下命令通缉孙中山和非常国会议长吴景濂，冯国璋不肯发表命令，因此由北京检察厅以“背叛民国”罪提起公诉，由司法机关行文全国，通缉孙中山。段不满意，至9月29日，冯终被迫下了通缉令。
护法军政府也下令通缉段祺瑞、梁启超、汤化龙、倪嗣冲四人以资报复。