对于闱姓彩票的命运，清朝政府的态度一直在变化之中，围绕着闱姓彩票的弛禁问题引发的争执和激辩无数，总结起来，共有四次大规模的交锋。发生在朝堂之上的风云变幻，也对闱姓彩票的发展产生了巨大的影响。
第一轮交锋
1862年10月17日，同治元年秋季，两广总督劳崇光因筹饷不利被劾离任。刘长佑、晏端书、郭嵩焘、毛鸿宾、蒋益澧等继任官员围绕着闱姓彩票应该开禁还是应该禁绝展开了第一轮激烈交锋。
接替劳崇光出任两广总督的官员是原闽广总督刘长佑。由于刘长佑上任初期的首要任务是整顿厘金，筹措饷银，故对禁绝闱姓彩票的态度并不坚决。不久，刘长佑调任直隶总督，禁绝彩票工作遂停。彩票商旋即试图开禁，但因广东籍御史罗淳衍在同治二年二月奏陈，请饬两广总督晏端书严禁闱姓彩票，朝廷遂以彩票为害闾阎、赌为盗源、有伤风化等为由明令禁绝。
1863年，朝廷调两淮运使郭嵩焘署理广东巡抚，处理厘金，筹集军饷。当年7月6日，朝廷调湖南巡抚毛鸿宾接替晏端书出任两广总督，兼办厘金事务。此时，广东财力窘境甚于先前。军饷主要源于溢坦变价（溢坦指沿江沿河冲击而成的土地）、捐输和厘金。郭嵩焘和毛鸿宾首先用厘金筹饷，但筹资乏力，遂以捐输筹饷。此时广东商业日渐萧条，筹饷工作困难重重。主要原因是，1854年以后清朝廷陷入太平天国、捻军起义、第二次鸦片战争等战事漩涡，军饷不断告急，地丁税征收艰乏。战端初期，海关课税充足，每次捐输也都能超过100万，故虽屡经兵燹而不甚忧贫。从1862年开始，西方列强肆扰广东，内江通商所有洋货大宗，原从广东转运湖广、江西的全都移至汉口、九江。福建、浙江、安徽、湖广、江西的茶叶原来也从广东出口，广东每年此项收入不下千百万。由于战事之故，这些省份的茶叶转从上海出口，湖南、江西虽有部分茶叶继续从广东出口，但1862年以后也全部转至汉口。即原来沿江各省的商贸逐渐从广东转移到其他省份，广东海关课税和民间贸易日渐凋敝。
由于溢坦变价、厘金、地丁税、海关税等原有主要财源皆已枯竭，郭嵩焘和毛鸿宾便以捐输筹资。两人迫于筹饷压力，筹资操之过急，民怨极大，一些富绅为躲避捐输跑到香港和澳门。有人奏劾郭嵩焘和毛鸿宾逼捐。朝廷令瑞麟等官员密查。1864年12月21日，郭嵩焘和毛鸿宾上奏折解释：“香山富民陈守善、徐瓜林二户，皆以依附洋人致富，始而避居澳门，继而避居天津。此辈挟赀既富，声气易通，谣言之兴，未始不由于此，现饬查拿究罚。”其实，朝廷也深知郭嵩焘和毛鸿宾筹饷艰难，不但没有责罚降罪，而且还给予了鼓励和支持，指出捐输筹资是朝廷不得已而为之的做法，广东主政官员应准情酌理，多方劝谕，以免人言藉藉。陈守善等富绅坐拥厚赀，一味悭吝，并散布谣言，虽属可恶。但在惩罚同时仍需考虑安抚人心。
朝廷苦于军饷筹集急务，袒护了广东官员的做法。这为开禁彩票创造了政治条件。此时，广东财力匮乏，郭嵩焘和毛鸿宾虽竭尽全力，仍一筹莫展。1863年10月，清军和太平天国军决战于江浙前线，清军缺饷，朝廷命郭嵩焘和毛鸿宾“不论何项，先行赶解银数万两。并酌量情形，无论多寡，按月定数拨解若干，俾得源源接济”。贻误军情，必定重罚。苦于筹措军饷无门的郭嵩焘和毛鸿宾如同得了开禁彩票的尚方宝剑。1864年，郭嵩焘和毛鸿宾查拿了香港天和店在广州私售闱姓彩票的票商，并处罚金十四万两，全部用于军饷。
郭嵩焘和毛鸿宾用罚款的方式开禁闱姓彩票，抽取彩票承充银筹集军饷的做法遭到了一些官员的批评。1866年，郭嵩焘离任。继任广东巡抚蒋益澧开展禁绝彩票活动。主要原因有二：
一是1864年7月19日，清军占领天京，全国战事稍见平息。广东协济军饷事宜暂缓。广东巡抚主要任务是恢复战后经济，整治民风民俗，而彩票被视为赌博，自然属于被取缔之列。
二是蒋益澧在1866年3月28日，奏请朝廷从浙江省借了大笔资金移济广东救急。由于没有筹饷压力，蒋益澧也无需开禁彩票。至此，闱姓彩票发展进入了停滞期。
在第一轮关于闱姓彩票弛、禁交锋中，开禁派代表官员是劳崇光和郭嵩焘；禁绝派代表官员是蒋益澧；晏端书、刘长佑、毛鸿斌属中间派，面对沉重的军饷筹集压力，他们实际上并不反对开禁彩票。
第二轮交锋
力主严禁闱姓彩票的广东巡抚蒋益澧在任不到两年，因与两广总督瑞麟不合而被弹劾。蒋益澧刚离任，彩票商便谋划开禁。此时，有慈禧太后撑腰的瑞麟在广东独掌大权，继任广东巡抚李福泰为人随和，两人对彩票都不厉禁。彩票商旋即开门营业。对此，1870年3月26日的《上海新报》有记载：“前者蒋抚宪通饬各府州县禁赌，于各衙门立碑石以示禁意。兹闻省垣地方乘官禁渐懈，复敢公然开设赌局，且有于门首悬挂灯笼者，居民赌技复痒，如见猎心喜，复趋如鹜。”
究其原因，无外乎是广东官府想借开禁彩票抽取捐银。没过多久，瑞麟就开禁了闱姓彩票。1871年朝廷调漕运总督张兆栋接任广东巡抚，此时闱姓彩票开禁已成事实。
瑞麟为什么开禁闱姓彩票？主要原因还是筹饷压力。爆发于同治元年、历时12年之久的陕甘等少数民族武装暴乱以及1856-1873年的云南回民起义等各种战事协饷纷至沓来，瑞麟不得不全力筹饷。同治十年四月，朝廷敦促广东拨欠西征协饷款银。此时广东欠解原拨左营并续添陕甘饷银七十六万两，专协陕西饷银五十五万两。七月被催解京饷，十一月被催缴协黔饷项。十一年六月初五日，贵州协饷，广东分厘未解。同治十二年五月，广东欠解陕西月饷及协拨之项，共银一百零四万两。朝廷令瑞麟等官员，不论何款赶紧拨银数十万两，俾济急需。《穆宗同治实录》记载“广东等省奉拨协滇新饷，自同治八年至今，共欠四百四十余万两。”瑞麟筹饷艰难，便开禁彩票。此后，白鸽票、花会票以及番摊等亦复苏。社会各界纷纷责难。《上海新报》和《申报》主流媒体也撰文批评。1873年3月27日的《申报》批评道：“广东闱姓之赌……与白鸽票无以异。花会、白鸽票之赌不出户庭。若犹是猜买而出于闱姓一途，则自农工商贾渐染及于学士、文人、官绅、僚佐，数年来举国若狂，而已忘其为赌博。”《申报》认为虽然每年能抽取10多万饷银，但这一筹资渠道与政体不合。
迫于舆论压力，瑞麟无奈于同治十一年(1872年)中上奏折请准禁绝花会、白鸽票等彩票。不过，瑞麟并没有将闱姓彩票列入禁绝目录。
其实，民间的呼吁、批评都不能促使瑞麟下决心禁绝彩票。但广东籍御史邓承修在随后不久上奏的折子《禁抽收赌款疏》却令瑞麟不敢大意。邓承修指出闱姓彩票存在三方面不利影响：
一是民贫盗起。闱姓彩票覆盖范围广泛，投票之处，从省会蔓延到各府州县的穷乡僻壤，不少人因此倾家破产或沦为盗匪。
二是有损科举制度。他认为比“民贫盗起”更为严重的是，每到科举考试年份，民间便谣言四起，时人到处传播闱姓彩票商已经贿赂了主考官员，为了追求利润，百计钻营，侵蚀岁考、武乡试等考试制度。
三是官府袒护。官府禁绝了花会彩票、白鸽彩票和番摊赌博等博彩游戏，但是惟独故意放开闱姓彩票，刚开始采取处罚闱姓彩票商的方式抽取饷银，随后将抽取饷银制度化。督抚遂利用这一小金库“用项支细，藉资津贴耳。”闱姓彩票商之所以敢如此明目张胆地公开设票局，根源在于督抚为他们提供保护伞。官府是父母官，百姓是子民，父母纵容子女赌博实为伤风败俗，病国蠹民！
闱姓彩票因有三大危害，故应迅行裁革，以肃政体。
清朝廷采纳了邓承修的奏请。同治十二年正月十二日，上谕明令：“御史邓承修奏，请饬禁抽收闱姓赌款一折。据称广东赌风甚炽，每届乡试及岁科考试期，开场设局，竞有巧立闱姓名目，抽收经费等语。赌博本干例禁，况考试届期，尤应严行禁止。若如该御史所奏，殊属不成事体。著瑞麟、张兆栋即行裁革，出示严禁，以肃政体而杜弊端。”瑞麟可以不理会社会各界的批评监督，但不敢违抗上谕，无奈之下只好出示严禁闱姓彩票。
瑞麟时期，闱姓彩票商承充的饷银有多少？从同治十年至十一年间开禁，到同治十三年禁绝，闱姓彩票承充饷银为“前督臣瑞麟、前抚臣张兆栋，复援案罚缴银是三十二万三千五百两。”这说明在瑞麟主政时期，广东实际归入藩库的闱姓彩票承充饷银总数是三十二万二千五百两。由于本次闱姓彩票承充期未满，便突然遭谕旨禁绝。可见，当时所应缴的承充饷银当远远超过这一数字。
1874年9月20日，瑞麟因病身故。关于闱姓彩票弛、禁之争遂进入新阶段。
