从1880年起，欧洲各国的殖民扩张进入了一个新时期。殖民地的商业利益和自然资源是宗主国经济的重要组成部分，殖民地的版图是宗主国强大的一种标志。如保罗·纳普伦德所述：“以前因为政治和经济的理由，我们忽视了一些领土，现在这些领土变得有用了。帝国和殖民问题成为19世纪最后20年的焦点。”[1]为了争夺新的殖民地，欧洲大国一方面抢先宣布一些未占领领土的宗主权，另一方面在资源丰富的地区展开激烈的竞争，以取得殖民帝国的最大优势，欧洲列强的疯狂争夺以“新帝国主义”冠名。
进入“新帝国主义”时期以后，欧洲列强几乎全部卷入对殖民地的争夺中。法国是老牌的殖民国家，由于各种原因，一度放弃了建立法兰西帝国的努力。19世纪下半叶，法国重新追求海外帝国，把扩大帝国版图作为与英国抗衡的手段。德国虽然曾经公开表示对殖民扩张不感兴趣，但是，随着英法殖民扩张的加快，它开始重新考虑殖民地对德国的重要性。从政治上看，德国在打败丹麦、奥地利和法国后，已经变为欧洲大国，海外帝国被视为标志；从经济上看，德国放弃了自由贸易的原则，促进了本国工业的增长，工业的发展刺激了对市场的需求，殖民地就是宗主国最好的市场。俄国继续在亚洲扩张，中亚逐渐成为俄国的势力范围；它还不断向印度进逼，直接影响英国在印度的利益。意大利尽管统一得较晚，但很快卷入到对殖民地的竞争之中。
但是，在各国强占殖民地的过程中，英国人已经捷足先登。英国的商人、传教士、代理人和冒险家的足迹遍布非洲等尚未被瓜分的区域，并且诉诸英国政府的保护权。如英国历史学家所述：“英国目前面临的问题是把近东、埃及和苏丹与遥远的殖民地连成一片，同时与欧洲的竞争者加强在亚洲、非洲和南海的争夺。”[2]欧洲各国放弃自由贸易政策后增加了英国在外交、商业和工业上的压力，迫使它不得不重新考虑长期坚持的自由贸易和海外扩张政策。
1880年，一贯倡导“无形帝国”政策的自由党再次成为执政党。在对待殖民地问题上，该党领袖格莱斯顿仍然坚守他的理想。1881年10月，格莱斯顿在利兹发表演讲，重申母国与殖民地的母子情谊：“在文明遇到困难和危险的时候，我们的殖民地可能出于感情来帮助我们，但是我们不能强迫他人的意志。我们要让他们感到帝国的所有部分都只有一个心脏，他们的脉搏一起跳动，他们会为国家的共同荣誉和利益做出贡献。”1884年，他仍然表示：“在我的生命里，我认为拿掉殖民地脖子上的枷锁是正义、明智和必要的选择。”但是，新帝国主义的狂潮使他的帝国理想遭到重创，太平洋地区的新几内亚的归属问题就是对格莱斯顿传统帝国政策的第一个挑战。
19世纪50年代，欧洲列强将扩张的脚步迈到了太平洋地区，澳大利亚作为该地区的大国，对于法国人在南太平洋地区的活动给予了高度的警惕。一方面，澳大利亚昆士兰（Queensland）的甘蔗种植者需要太平洋岛屿上的廉价劳动力；另一方面，欧洲列强的入侵必然影响澳大利亚的安全。19世纪70年代初，为了自身利益的需要，澳大利亚政府敦促英国吞并斐济、萨摩亚（Samoa）、新几内亚（New Guinea）和赤道以南的太平洋群岛。但是，遭到英国政府的拒绝。80年代开始，澳大利亚政府提出愿意承担开发新殖民地的费用，该举动是告诉英帝国政府，殖民地也要开发自己的殖民地。这个看似被动的敦促，实际上意义深远：一旦澳大利亚真正拥有了自己的殖民地，那么新殖民地与帝国应保持怎样的联系？帝国对于澳大利亚的权威又将怎样体现？澳大利亚和德国对于新几内亚的争夺，将英帝国推到了风口浪尖之上。
新几内亚是太平洋最大、人口最多的岛屿，其自然资源、人力资源以及战略地位吸引了欧洲列强的关注，也使它成为“吞并和反吞并斗争的中心”[3]。荷兰人最早来到新几内亚，并占领了该岛的西北部。18世纪，英国东印度公司的商人曾经宣布新几内亚为英国所有。1846年，皇家海军的上将尤尔（Yule）再一次确认了新几内亚的归属。1873年，莫尔斯比（Captain Moresby）上尉将英国的旗帜插在岛屿的东部，该行动遭到帝国当局的否认。直到19世纪80年代，欧洲列强认为该岛的更大的部分仍然属于没有归宿的领土，原住民的政治权利被彻底忽视。澳大利亚出于对资源和劳动力的渴望以及德国人在南太平洋地区的频繁活动，加速了吞并新几内亚的步伐。
1883年4月4日，澳大利亚的昆士兰以英国女王的名义占领了新几内亚和周围领土（东经141—155度） 。虽然昆士兰的行动得到了澳大利亚政府的支持，但是在帝国政府内却引起争议：如果自治殖民地可以不经过帝国政府的批准占领领土，帝国政府就处于一种非常尴尬的位置：既担心帝国的权威，又担心要为殖民地的安全买单。
政治家们对待新几内亚的态度也不尽相同，1883年2月13日，德比伯爵在给格莱斯顿的信中说：“新几内亚问题，或者是由于新几内亚引起的问题，已经演变为占领南太平洋岛屿的要求，这个问题很可能引起很多的麻烦。我听说，所有的殖民地只有一个要求：它们不能理解为什么它们不能及时得到它们所需要的东西……但是，我想我们不能长期抵制它们要做的事情，比如新几内亚。”[4]显然，德比同情澳大利亚的要求，甚至愿意给予澳大利亚人自己拥有殖民地的权利。
然而，自由党领袖格莱斯顿对澳大利亚的要求却不以为然，在征求了西太平洋高级顾问、斐济和新西兰总督阿瑟·戈登爵士（Sir Arthur Gordon）的意见后，1883年4月20日，他表示坚决反对英国对新几内亚的宗主权的干涉，同时，反对该岛成为昆士兰的一部分。他认为英国已经有足够的深色皮肤公民；新几内亚人也没有表示他们愿意成为英国公民的愿望；澳大利亚强迫原住民劳动，他们不公正的行为会导致战争和起义，昆士兰的吞并会增加帝国政府的管理费用，并增加帝国政府的责任。“总之，在殖民政策方面，殖民地政府将自己的政策强加给帝国政府是极其不合适的。”[5]
1883年5月19日，格莱斯顿在致德比伯爵的信中再次表达他的意见：“我想我们很快就会面对新几内亚问题。我希望我们能够拒绝昆士兰的要求，因为我想它的行动不值得信任，而且没有得到政府的授权。如果澳大利亚殖民地能够建立一个联盟之类的联合，我们就能更好地面对这个问题。他们必须对所要做的事情承担一些实质性的责任。我很遗憾地发现，我们已经吞并了一些附近的岛屿。”[6]
英帝国政府拒绝了昆士兰吞并新几内亚的要求，但是这个事情远远没有结束。澳大利亚政府继续提出由澳大利亚或英国政府吞并的要求，使英国政治家开始怀疑澳大利亚人的真正意图。1883年10月8日，戈登在一封信中表达自己的看法，认为真正推动吞并的人是昆士兰的甘蔗种植者和商人，“这两种人受到巨大的利益驱使，同时殖民地的每一个政治家都试图参与他们的利益。如果三方都能够达到目的，又不得罪其他社区，那将是一个不错的选择”。但是，戈登也十分清楚，澳大利亚人的利益必然建立在损害原住民的利益之上。因此，英国政治家担心经济利益必将演变为政治冲突，而英帝国政府也必然承担化解冲突的责任。这是英帝国政府不愿意看到的结果，因为“我们不可能放弃数千里之外的印度事务，而去管理新几内亚的事”[7]。
1883年12月7日，德比伯爵也给格莱斯顿写了一封长信，表达了他的态度：“如果任何大国在澳大利亚海岸和南美之间建立殖民地，澳大利亚的安全是得不到保证的。但是，这种假设是很难成立的，殖民地仅仅希望我们为他们而战。”[8]德比认为，澳大利亚的现状与吞并新几内亚毫无关系，澳大利亚只是太多地关注了自己的利益，从而增加了帝国政府的压力。格莱斯顿则是从新几内亚的角度出发，他在给德比的回信中写道：“没有得到被保护地人民的同意，这种联系正常吗 ……从一个更宽泛的意义上说，我宁愿把在新几内亚建立保护地视为一个荒谬的提议，持怀疑的态度。提议者为否定的表决准备了最充分的理由，如果不出现争论，最好让他们提出这样的问题。但是，如果我们批准了他们的提议，他们还会要求得更多。那样，我们就站在一个错误的地方。”[9]
新几内亚的同意与否是一回事，德国在南太平洋的扩张是另一回事。柏林会议上，英国代表罗伯特·米德告诉俾斯麦的秘书布希：“英国殖民部在非洲倾向于同德国而不是同法国做邻居。”但是，英国的妥协态度并没有安抚俾斯麦，相反，他利用英国在1884和1885年的外交困境，开始在南太平洋大显身手。
1884年8月6日，英国内阁就对新几内亚是吞并还是保护的问题进行了长时间的讨论，得出的结论是：必须承认并尊重原住民的权利。两天后，德国驻伦敦大使通知格兰维尔，为了保护德国在南海的贸易利益，决定对新几内亚的北海岸进行殖民。从此时起，新几内亚问题进入高层政治关注的领域。格莱斯顿本人无意把英国的宗主权扩大到新几内亚，而且也不支持以“鹊巢鸠占”的政策与德国竞争。1884年12月31日，格莱斯顿说：“在我的记忆中，我们对新几内亚的行动是出于保护海岸的需要……我们和德国人之间不存在偏见。”[10]1885年2月1日格兰维尔写道：“我们必须在新几内亚问题上与俾斯麦达成一致，可以避免语言上的妥协和被欺负的表象。但是，不容易达到共同的目标。”[11]
德国政府于1884年12月9日宣布新几内亚为德国领土，该决定把英国政府逼到一个进退两难的境地：要么得罪德国，要么引起澳大利亚的抗议。选择前者肯定会导致危险的后果，因为俾斯麦手中握着对付英国的王牌。英国在埃及的利益破坏了英国与法国的关系；1885年初阿富汗前线出现危机，俄国威胁印度的大门；同时，英国还面临同苏丹的长期战争。因此，英国的外交困境使它再也没有实力与德国对抗。另一方面，俾斯麦表示，如果德国在殖民地占领的问题上能够有一个满意的结果，就不会给英国制造任何麻烦。[12]
两害相权取其轻，格莱斯顿政府只能得罪澳大利亚，用以安慰德国。 1884年12月24日，他在致德比的信中说：“毫无疑问，在这个问题上，我们必须小心行事，它为我们的殖民地敲响了警钟。柏林会议上，任何一种语言都在传递着一种同情。这种同情可能对我们占领埃及导致特别的不幸。”[13]新几内亚的争夺和归属问题成为格莱斯顿第二届政府帝国政策的风向标，它提醒自由党人：新一轮的殖民地争夺已经开始，同时殖民地本身不仅有了扩大领土的想法，而且具备了争夺殖民地的实力。在新帝国主义的形势下，自由党必须在继续坚持自由帝国的政策、还是改弦易辙中做出选择。
经过祖鲁战争和吞并德兰士瓦的事件后，南非问题仍然是国内外政治争论的焦点。德兰士瓦的布尔人仍然记得格莱斯顿在中洛锡安演讲时充满正义道德的言辞：“在德兰士瓦，我们的选择是最不明智的。我总是想说，这将使我们陷于一种尴尬的境地：我们将君主制下的自由公民变成了叛乱的公民，强迫他们接受公民权。但是，如果要达到这一目的，只能通过武力来完成。”[14]他还说，保守党政府吞并德兰士瓦的行动是“羞耻的”。因此，布尔人认为只要格莱斯顿成为英国首相，他们必定能获得独立和自由。
但是，格莱斯顿上任后，并没有履行诺言，南非形势的变化以及英国政府的决策改变了格莱斯顿的初衷。在吞并德兰士瓦3年后，英国居民和原住民都履行了各自的义务，自由党难以对前任的做法进行全盘的否定；同时，1854年英国放弃奥兰治自由邦以后，满足了自由邦巨大的赔偿要求，增加了政府财政负担，结果英国不但失去了奥兰治，而且又白白地送出了金钱。这个教训使自由党人不敢轻易许诺布尔人自由的权利；随着保守党帝国文件的正式面世，人们发现布尔人并没有完全反对英国的吞并，有的保持了沉默，有的甚至持欢迎的态度。鉴于这样的情形，格莱斯顿和他的同僚们认为，建立包括德兰士瓦自治政府在内的“南非联邦”是最令人满意的解决南非问题的方法。1880年，他说：“联邦是如此重要，它使其他任何事情黯然失色，我们政府的行动目标是建立‘南非联邦’。”[15]但是，建立“南非联邦”需要合适的人选，经过再三的斟酌，弗里尔爵士脱颖而出，同年5月28日，格莱斯顿在致女王的信中说：“……保留弗里尔爵士的唯一机会是希望依靠他的能力在联邦事务中取得进展……”[16]他在7月29日的信中再一次表达了这个愿望：“内阁已经作出决定，若‘南非联邦’有所进展，将使他们与弗里尔爵士之间有一个更广泛的合作前景。”[17]
自由党的南非政策和布尔人的要求大相径庭，导致了布尔人的不满。英国人要求建立“南非联邦”；布尔人在克鲁格（ Paul Kruger）的领导下，决定反对英国的吞并政策，要求归还独立的权利。1880年5月10日，克鲁格在致格莱斯顿的信中说：“我们非常自信，总有一天，看在上帝的分上，帝国政府的权杖会回到那些追求英格兰光荣和荣誉的人们的手中，追求的方式应该是正义和美好的，而不是通过非正义的暴力行为。”[18]同时，布尔人还开展了要求独立的请愿活动，在原德兰士瓦共和国的8000名选民中，有7000人在请愿书上签了名。
布尔人在长期的等待中失去了耐性，开始拿起武器，反对英国的殖民统治。1880年12月，克鲁格宣布重建布尔共和国。南非的危机导致了自由党内阁的分裂，以福斯特为首的人道主义者坚持英国的殖民地统治建立在对南非原住民托管的基础之上，以亨廷顿和金伯利为代表的辉格派认为，英国的统治必须建立在帝国的威望和霸权的基础上，以格莱斯顿为首的激进派则同情布尔人争取独立的斗争。1880年2月，布尔人在马朱巴（Majuba）打败英国的军队，指挥官乔治·科利（George Colley）被布尔人击毙。尽管马朱巴战役是一场小规模的战争，但是，英国人不能承受战争的失败，“长久回**在南非和英格兰上空的枪声”[19]惊醒了强大英帝国梦乡中的沉睡者。
马朱巴事件使自由党政府进退两难：放弃德兰士瓦意味着畏惧军事行动，保留德兰士瓦便违背布尔人意愿。在双方的让步下，英国政府与布尔人于1881年8月3日签订了《比勒陀利亚协定》（Convention of Pretoria）：同意德兰士瓦独立，但是它必须承认女王的最高宗主地位，同时含糊不清地暗示了英国的宗主权。这一妥协似乎满足了自由党内部辉格派的要求，却为未来埋下了祸根，人们认为：“格莱斯顿政府保留了责任，失去了有效的控制权。”[20]由于布尔人反对承认英国的宗主权，1884年双方在伦敦又达成了新的协议，即《伦敦协定》（London Convention）。英国政府承认德兰士瓦布尔人使用“南非共和国”的名称，保留对德兰士瓦的外交控制权，但是，协议中不再出现“宗主”的字样。《伦敦协定》同时规定，德兰士瓦未经英国的同意，不得同奥兰治共和国以外的任何国家签订条约。德比伯爵在1884年3月17日上院的发言中指出：“我认为，无论德兰士瓦是保护地，或者承认英国的至高权威，事实上是某种控制力量的保留。当它有权与外国进行任何方式的谈判时，它才具备了宗主国身份……在《比勒陀利亚协定》中，我们虽然没有正式使用‘宗主权’这个词，但我们保留了问题的实质。我们之所以避免使用这个词，是因为它既缺乏合法的定义，又容易引起人们的误解。”[21]
自由党的南非政策是出于“自由”和“帝国”两方面的选择：一方面，布尔人取得独立地位，表明了格莱斯顿对正义、道德的追求；另一方面，保持在德兰士瓦的宗主权体现了英国对帝国的需要。南非的富裕已经使它成为帝国王冠上的新明珠，而且还是解决英国人口过剩问题的新场所，如沃尔斯利（Wolseley）给比奇的信中说：“德兰士瓦矿藏丰富，已经被发现和尚未发现的黄金储藏证明了它的富有。这里人口稀少，布尔人社区结束的日子已经不远了，这将给英国大量的人口带来福音。从南非撤退难道不是我们鼠目寸光的政策 ”[22]
此外，德兰士瓦的非宗主地位还有利于英国在南非拥有更多的殖民地。长期以来，布尔人的民族主义和试图控制南非的愿望威胁到英国的南非殖民地开普和纳塔尔。克鲁格为了摆脱英国的统治实现独立，并控制整个南非，将势力渗透到开普和纳塔尔的两翼，并在西南切断了开普的对外联系。通过纳塔尔和葡萄牙殖民地德拉戈阿湾，建立贝专纳（Bechuanaland）与外部联系的通道。布尔人的企图增加了开普殖民地的重要性，同时，苏伊士运河虽然已开通，但是由于土耳其形势不稳定，东方的航线显得非常脆弱。开普航线仍然是英国调兵遣将最有保证的航线，自由党政府当然不可能放弃开普殖民地；在英国人与布尔人作战之时，爱尔兰民族主义者的活动日益活跃，要求土地改革和自治的呼声不断，暴力事件时常发生。为了避免南非出现第二个爱尔兰，格莱斯顿不得不对南非做出让步。
阿富汗问题是自由党帝国政策必须面对的又一个挑战。自由党上台以来，政府准备从阿富汗撤军，将保守党执政时获得的区域交给新的阿富汗埃米尔阿布杜·拉赫。此时里彭勋爵（ Lord Ripon）已经代替李顿成为印度的总督，他认为一旦政府从阿富汗撤军，英国和俄国在该地区的摩擦必然增加，不仅造成混乱，而且俄国很可能侵入印度。自由党政府为了满足各方的利益，与阿富汗达成了另一个妥协：英国承担保护阿富汗的责任；但是为了安慰党内的激进派，将战略地位重要的坎大哈省交给了阿富汗的埃米尔，其理由是为了“政治和政党的需要”[23]。
在新的交易中，自由党的政策又给自己带来不幸：承担责任，但是却不能控制阿富汗埃米尔的行动。1884年，俄国军队吞并了梅尔夫（Merv），并继续向中东推进，到达阿富汗和波斯之间未明确划定的边界。这时，埃米尔掌握了主动权。1885年3月，俄国军队和阿富汗军队在潘杰达（Penjdeh）遭遇，阿富汗请求英国履行保护阿富汗安全的责任，这一爆炸性的事件使自由党政府不堪重负。但是，后来俄国同意阿富汗控制重要的祖尔非卡（Zulficar Pass）要塞，才解开了自由党的困局。从1885年起，保守党人和自由党人都意识到保卫印度的重要性，都认为印度的西北边界的安全已经超越了政党的界限。为了保卫印度的安全和利益，格莱斯顿在第二届政府的后期效仿以前保守党在中亚的帝国政策。因此，历史学家称“它是一个根本的政策转变，其中内部的冲突和中东的政治形势起了一定的作用”[24]。
如果说与俄国的冲突出乎自由党人的意料之外，那么英国与奥斯曼帝国关系的恶化就是精心设计的结果。在东方问题上，格莱斯顿一直激烈批评迪斯雷利的土耳其政策，特别反对英国占领塞浦路斯。但是，在南非的马朱巴战役以后，格莱斯顿认识到放弃是不明智之举。他一边从亚美尼亚撤回了陆军领事，一边举行海军演习，说服奥斯曼苏丹履行在柏林会议上的承诺，逼迫土耳其放弃了一些领土给希腊等邻国。格莱斯顿的用意十分明确：保护印度的通道，保证英国海军在地中海地区的霸权，与法国合作，维持欧洲的和谐。但是，格莱斯顿的欧洲和谐中没有德国，而俾斯麦（Bismarck）早有安排，他的计划中也没有格莱斯顿。俾斯麦与奥匈帝国、俄国和意大利签署了秘密协定，扼杀了格莱斯顿的和谐美梦。在理想和现实的强烈碰撞中，自由党不得不重新审视其外交和帝国政策。1882年，占领埃及的行动是其政策转变的一个重要标志。