<div dir="ltr"><div dir="ltr"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">I mean come on, it's nearly 2024 and a [major] telco does not have remote console access?<br></blockquote><div><br></div><div>If we send a poll out to this community, how many would be able to genuinely honestly answer: </div><div><br></div><div>Do you have a console or appropriate control plane access into all your critical infrastructure?</div><div>Do you have independant out of band that does not share any infrastructure with your current system(s) - with exemption for physical location and power.<br></div><div>Do you have the ability to remote power control your devices?</div><div><br></div><div>We know from the facebook outage in 2021 that they probably didn't have the above, so its not entirely uncommon for folks to have *proper independant* console and remote access.</div><div><br></div><br>I empathize with the Optus team and their customers who have been negatively impacted by this incident. I sincerely hope that some positive outcomes can emerge from this situation, including:</div><div dir="ltr"><br><div>- Attention to critical infrastructure resilience</div><div>- BGP clue increases</div><div>- Incident management improves</div><div>(I'm sure there's more).</div><div><br></div><div>Network is a black box to most people and I think a large chunk of Australia now knows what it feels like to not have it. </div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 8 Nov 2023 at 11:06, Ben Buxton <<a href="mailto:bb.ausnog@bb.cactii.net">bb.ausnog@bb.cactii.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 8 Nov 2023 at 10:14, DaZZa <<a href="mailto:dazzagibbs@gmail.com" target="_blank">dazzagibbs@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Yeah, I'd be willing to bet that it's a change which wasn't thoroughly<br>
tested before being rolled out, and which had an inadequate backout<br>
plan.<br></blockquote><div><br></div><div>Also, "Our on-site technician is actively prioritising establishing a console connection.".</div><div><br></div><div>I mean come on, it's nearly 2024 and a [major] telco does not have remote console access? Whilst I'm</div><div>looking forward to enthusiastically reading the PM, I'll have to book a physio appointment in advance due to </div><div>neck strain from all the head shaking it'll likely induce.</div><div><br></div><div>BB</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Interestingly, my Optus mobile actually had a valid connection for a<br>
short time - wasn't able to actually DO anything, but was connected to<br>
the OPtus network - but it's now gone to "SOS" mode.<br>
<br>
D<br>
<br>
On Wed, 8 Nov 2023 at 10:01, John Edwards <<a href="mailto:jaedwards@gmail.com" target="_blank">jaedwards@gmail.com</a>> wrote:<br>
><br>
> The 4am Wednesday morning outage start looks suspiciously like a firmware upgrade window.<br>
><br>
> I note that Optus devices where I am are showing "SoS" which indicates the tower is unable to reach the location register, which presumably is on a private network and indicative of a pretty major fault rather than just IP.<br>
><br>
> John<br>
><br>
><br>
> On Wed, 8 Nov 2023 at 09:10, DaZZa <<a href="mailto:dazzagibbs@gmail.com" target="_blank">dazzagibbs@gmail.com</a>> wrote:<br>
>><br>
>> The Optus hamster finally died of old age.<br>
>><br>
>> I would suggest your SMS issues would be caused by whoever is issuing<br>
>> the SMS using Optus - not so much by the Telstra end receiving it.<br>
>><br>
>> Anecdotally, Optus enterprise/wholesale appears to be still functional<br>
>> - at least my link appears to be working fine - and my BGP<br>
>> advertisements are still being seen overseas - seems to be only NBN<br>
>> and mobile based services which are busted<br>
>><br>
>> D<br>
>><br>
>> On Wed, 8 Nov 2023 at 09:27, <<a href="mailto:francisfides@mailup.net" target="_blank">francisfides@mailup.net</a>> wrote:<br>
>> ><br>
>> > Morning all,<br>
>> > Hope the chaos isn't too hard on your work/family.<br>
>> > I have had trouble with a couple of SMS verifications coming through to me, my Telstra number. Is this related?<br>
>> ><br>
>> > Any general banter around the downtime would be fine too - looks like it all began at 4.07am AEDT?<br>
>> ><br>
>> > Cheers<br>
>> ><br>
>> > --<br>
>> ><br>
>> >   <a href="mailto:francisfides@mailup.net" target="_blank">francisfides@mailup.net</a><br>
>> > _______________________________________________<br>
>> > AusNOG mailing list<br>
>> > <a href="mailto:AusNOG@lists.ausnog.net" target="_blank">AusNOG@lists.ausnog.net</a><br>
>> > <a href="https://lists.ausnog.net/mailman/listinfo/ausnog" rel="noreferrer" target="_blank">https://lists.ausnog.net/mailman/listinfo/ausnog</a><br>
>><br>
>><br>
>><br>
>> --<br>
>> veg·e·tar·i·an:<br>
>> Ancient tribal slang for the village idiot who can't hunt, fish or ride<br>
>> _______________________________________________<br>
>> AusNOG mailing list<br>
>> <a href="mailto:AusNOG@lists.ausnog.net" target="_blank">AusNOG@lists.ausnog.net</a><br>
>> <a href="https://lists.ausnog.net/mailman/listinfo/ausnog" rel="noreferrer" target="_blank">https://lists.ausnog.net/mailman/listinfo/ausnog</a><br>
<br>
<br>
<br>
-- <br>
veg·e·tar·i·an:<br>
Ancient tribal slang for the village idiot who can't hunt, fish or ride<br>
_______________________________________________<br>
AusNOG mailing list<br>
<a href="mailto:AusNOG@lists.ausnog.net" target="_blank">AusNOG@lists.ausnog.net</a><br>
<a href="https://lists.ausnog.net/mailman/listinfo/ausnog" rel="noreferrer" target="_blank">https://lists.ausnog.net/mailman/listinfo/ausnog</a><br>
</blockquote></div></div>
_______________________________________________<br>
AusNOG mailing list<br>
<a href="mailto:AusNOG@lists.ausnog.net" target="_blank">AusNOG@lists.ausnog.net</a><br>
<a href="https://lists.ausnog.net/mailman/listinfo/ausnog" rel="noreferrer" target="_blank">https://lists.ausnog.net/mailman/listinfo/ausnog</a><br>
</blockquote></div></div>