Driftstatus

Vi oplever i øjeblikket ustabilitet i Netkey. Vores udviklingsafdeling arbejder på højtryk for at løse sagen.

Sagen er løst. 18/04/24 – 11.15.

Bekey er i øjeblikket i gang med at lave ændringer i Montør appen til Android.

Derfor er det i øjeblikket ikke muligt at tilgå og downloade montørappen til Android via jeres egen Google Play account.

Hvis jeres IT-afdeling har brug for at tildele adgang til montørappen til nye depotmedarbejdere, kan følgende link benyttes i stedet. Medarbejdere der allerede er oprettet, og har appen installeret, vil ikke være berørt.

I er selvfølgelig også velkomne til at henvende jer til drift@bekey.dk. 

Vi oplever i øjeblikket udsving ved bestilling af montørjobs fra nogle kommunekunder. Hvis I oplever problemer på hastebestillinger kan I sende en mail til drift@bekey.dkmed de gængse detaljer som et montørjob kræver:

• Adresse
• Nøglebundt ved nymontering
• Hvornår den skal køres
• Evt. kontaktinformation

Vi kvitterer for modtagelsen.

Vi beklager ulejligheden og arbejder på sagen.

Bekey har udgivet en ny version af Old Bekey brugerappen.

Ny version 4.7.9:
Dette er en mindre opdatering der gør at vores app og SDK er kompatible med den seneste Android opdatering: Android 14.

Forbedringer:
Tilføjet Bluetooth-tilladelser til Android 12+.

Bekey har udgivet en ny version af Android Bekey brugerappen i Google Play Store.

Ny version 5.2.1:
Dette er en mindre opdatering der gør at vores app og SDK er kompatible med den seneste Android opdatering: Android 14.

Forbedringer:
Tilføjet Bluetooth-tilladelser i Android 12+.

Du kan tilgå den nye version i Google Play her

IOS17 ændrede måden hvorpå Bekeys bruger-app håndterede logfiler. Dette betød at logningerne ikke automatisk blev indsendt til vores system, Netkey.

Det er her vigtigt at understrege at ingen logs er gået tabt – alt er stadig gemt på låseenhederne.

1. Bekey har i dag udgivet version 5.3 af Bekey appen til iPhone. Når den er installeret, fungerer logningerne igen som de skal. Vi vil derfor gerne henstille til, at alle får deres iPhone apps opdateret hurtigst muligt.

Driftforstyrrelser – problemer med at logge på – 22/11/2023

Enkelte kommuner oplever problemer med brug af Bekey løsningen, i tilfælde hvor kommunerne er opkoblet via kommunernes egne Internetforbindelser. For at komme rundt om problemet anbefaler vi at man i stedet kobler op til Internettet, via en mobil dataforbindelse.

Vi samarbejder med de berørte kommuner om en løsning på problemet.

Vi har opdaget en bug i vores IOS-app, som betyder at døråbninger ikke logges, når telefonens styresystem er opdateret til version 17+.

Appen kan stadig bruges og åbner døre, men for at  sikre retvisende logs, anbefaler vi, at I beder jeres medarbejdere om at vente med at opdatere telefonerne, før vi har fundet fejlen.

Kære kunde,

Vi har i øjeblikket problemer med vores telefonsystem. Hvis du ikke kan komme igennem til supporten, opfordrer vi til at skrive en mail til drift@bekey.dk.

Kære Kunde

I går kl. 15:50 oplevede vi et “database timeout”. Dette førte til at vores Netkey-administration tjeneste ikke responderede og senere gjorde det umuligt at hente nye nøgler fra vores apps på Android og iOS. Brugere, der allerede havde hentet nøgler før databasens timeout, blev ikke påvirket.

17:30 var problemet løst, og alle tjenester kørte igen.

En intern log-server gik ind i et loop, som til sidst fik vores database til ikke at reagere. Nye foranstaltninger er blevet implementeret for at forhindre sådanne fejl i fremtiden. Bekey beklager dybt og undskylder oprigtigt for ulejligheden.

De bedste hilsner
Bekey

Dear Customer,

Yesterday at 15:50, we experienced a database timeout. This caused our Netkey administration service to timeout and later made it impossible to retrieve new keys from our apps on Android and iOS. Users who had retrieved keys before the database timeout, were not affected. 

At 17:30 the problem was solved and all services were running again.

An internal logging server went into a loop, which eventually caused our database to become unresponsive. New measures have been implemented to prevent such failures in the future. Bekey deeply regrets and sincerely apologizes for this inconvenience.

Warm regards,
Bekey

Der er desværre langtsomt svartid på vores services, vi arbejder på højtryk for at få løst problemet.

Vi har endnu ikke hørt fra Samsung, og problemet er endnu ikke løst. Vi opfordrer til, at I tager direkte kontakt til Samsung, og gør opmærksom på problemet.

I marts 2023 oplevede vi de første problemer med at få adgang til gamle enheder via Old-Bekey på tværs af hele landet. Der anbefalede vi et skifte af de gamle enheder samt brug af alternativ telefon med en forventning om at det ville afhjælpe problemet. Det viste sig desværre at være et større problem end forventet og i juli 2023 nåede det flere Samsung-enheder og berørte derefter alle Bekeys kunder i større eller mindre grad.

Det var desværre et større problem end forventet, så i juli 2023 ramte det mange af vores distributionskunder samt de fleste danske og norske kommuner og vi eskalerede henvendelserne til Samsung.

Samsung er nu vendt retur og har påtaget sig ansvaret for bluetooth-buggen. De er nu i gang med at arbejde på en løsning. Den melding vi har modtaget, er at Samsung arbejder på en løsning i indeværende sprint og deres udviklerafdeling forventes at have løst problemet d. 21/7.

Dermed også sagt at løsningen desværre er ude af vores hænder, da det desværre ikke er noget vores udviklerafdeling kan håndtere.

Hvis I oplever andre lignende problemer, må I meget gerne melde hurtigt ind til vores driftsafdeling og evt. Kontakte Samsung direkte med en beskrivelse af problemet gerne med ”Bekey” i emnefeltet Tech Support Samsung tlf. 70701970 og mail b2b.dk@email.support.samsung.com

Vi kan se at de mange henvendelser fra Bekey-kunder har sat lidt skub i det hele. Det er meget værdsat.

Vi anbefaler følgende løsning:

• • • Stop med at opdatere Samsung serie-A telefoner til den sidste patch, hvis brugen af Bekey er kritisk
  • • Kontakt Samsung Support for at fejlmelde buggen og vi opfordrer jer til at tilføje nedenstående tekst:
      For our older devices to work, mobile phone should be able to pair with them without any PIN code security (also frequently referred as “Just Works”, see “Bluetooth LE Legacy Pairing” at https://www.bluetooth.com/blog/bluetooth-pairing-part-2-key-generation-methods/ ), as our locks are “NoInputNoOutput” devices (have no screen and no buttons to accept or reject the pairing). It seems that with one of the latest patches, this functionality was broken on Samsung phones (specifically, the one which was tested, Samsung Galaxy A71).
  • Udskift de påvirkede Samsung serie-A telefoner til anden Samsung serie model eller et andet mobil telefon mærke.

Bekey er selvfølgelig også i dialog med Samsung om en snarlig løsning.

For at sikre en fortsat stabil drift og forbedre brugeroplevelsen har vi planlagt vedligeholdelse af vores servere på onsdag d. 15. februar 2023 mellem kl. 21 og 22.

I ovennævnte tidsrum kan der forekomme nedetid på mindre end 10 minutter, som dog kun vil have indflydelse på Netkey (administrationsmodulet) samt brugere, der prøver at logge ind i præcist de pågældende minutter. Det vil igennem hele tidsrummet være muligt at åbne døre, forudsat at brugeren allerede er logget på appen. Hvis en af Jeres brugere kommer ud for en fejlbesked i dette tidsrum, bedes han/hun vente få minutter og så prøve at gentage handlingen.

For at sikre en fortsat stabil drift og forbedre brugeroplevelsen har vi planlagt vedligeholdelse af vores servere på mandag d. 29. august 2022 mellem kl. 21 og 22.

I ovennævnte tidsrum kan der forekomme nedetid på mindre end 10 minutter, som dog kun vil have indflydelse på Netkey (administrationsmodulet) samt brugere, der prøver at logge ind i præcist de pågældende minutter. Det vil igennem hele tidsrummet være muligt at åbne døre, forudsat at brugeren allerede er logget på appen. Hvis en af Jeres brugere kommer ud for en fejlbesked i dette tidsrum, bedes han/hun vente få minutter og så prøve at gentage handlingen.

Grundet en menneskelig fejl blev den brugerkonto, som anvendes af vores eksterne overvågningssystemer (Dotcom-Monitor og Pingdom), kortvarigt blokeret i løbet af den 29/3-2022, hvilket medførte “nedetid” jf. statistikken.

Overvågningssystemerne logger på Bekeys backend på samme måde som en almindelig bruger for at statistikken bliver så realistisk som muligt. Af nedenstående screenshots fremgår at Bekeys backend ikke var nede i det rapporterede tidsrum, overvågningen kom i kontakt med serveren, men meldte fejl pga. den blokerede brugerkonto.

Grundet tekniske problemer i et af vores datacentre foretager vi i aften vedligeholdelse på vores løsning mellem kl. 21 og 22.

I ovennævnte tidsrum kan der forekomme nedetid på mindre end 10 minutter, som dog kun vil have indflydelse på Netkey (administrationsmodulet) samt brugere, der prøver at logge ind i præcist de pågældende minutter. Det vil igennem hele tidsrummet være muligt at åbne døre, forudsat at brugeren allerede er logget på appen. Hvis en af Jeres brugere kommer ud for en fejlbesked i dette tidsrum, bedes han/hun vente få minutter og så prøve at gentage handlingen.

For at sikre en fortsat stabil drift og forbedre brugeroplevelsen har vi planlagt vedligeholdelse af vores servere på torsdag d. 27. februar 2020 mellem kl. 21 og 22.

I ovennævnte tidsrum kan der forekomme nedetid på mindre end 10 minutter, som dog kun vil have indflydelse på NETKEY (administrationsmodulet) samt brugere, der prøver at logge ind i præcist de pågældende minutter. Det vil igennem hele tidsrummet være muligt at åbne døre, forudsat at brugeren allerede er logget på appen. Hvis en af Jeres brugere kommer ud for en fejlbesked i dette tidsrum, bedes han/hun vente få minutter og så prøve at gentage handlingen.

Mellem kl. 11:05 og 11:29 oplevede vi en række fejl, som til sidst resulterede i at alle på daværende tidspunkt aktive 3 nodes (applikationsservere) var nede. Nedetiden varede i 7 minutter og 39 sekunder.

Vores undersøgelse viste, at fejlene skyldtes en bug i en sjældent anvendt API metode, som resulterede i en OutOfMemory exception for den node som forespørgslen ramte.

Vi har sidenhen foretaget følgende ændringer for at forhindre et lignende problem i fremtiden:

• Overvågningen genstarter automatisk nodes i tilfælde af OutOfMemory undtagelser.
• Der er oprettet et skript som kan blokere adgangen til mindre kritiske API metoder, hvis der opdages fejl i dem.
• Serverne opretter nu et fuldt hukommelsesdump, når der opstår en OutOfMemory undtagelse.
• Vi gemmer fremover logs for at kunne analysere nodernes hukommelsesforbrug i længere tid.
• De mest kritiske API metoder er blevet flyttet til separate Docker containere.
• Vi har forøget vores overvågelse af CPU- og hukommelsesforbrug efter hver release af vores backend.

Vi beklager de gener nedbruddet måtte have medført og står selvfølgelig til rådighed ved evt. spørgsmål.

For at sikre en fortsat stabil drift planlægger Bekey opdatering af vores servere. Opdateringen vil blive foretaget den 15. juli 2019 mellem kl. 21 og 22 dansk tid.

Hvad vedligeholdelsen betyder for dig og dine brugere:

• I er sikret en endnu mere stabil drift i fremtiden.
• Der kan forekomme minimal nedetid på op til 2 minutter i perioden kl. 21-22 dansk tid den 15/7-2019.
• Selvom systemet kortvarigt skulle være utilgængelig kan brugerne stadig åbne og låse normalt. En eventuel nedetid påvirker kun indlogning, men ikke almindelig brug af mobilapplikationen.

For at sikre en fortsat stabil drift planlægger Bekey ændringer af vores infrastruktur. Ændringerne vil blive foretaget den 14. juni 2018 mellem kl. 21 og 22 dansk tid.

Hvad vedligeholdelsen betyder for dig og dine brugere:

• I er sikret en endnu mere stabil drift med hurtigere svartider og dermed en bedre brugeroplevelse i fremtiden.
• Der kan forekomme minimal nedetid på op til 10 minutter i perioden kl. 21-22 dansk tid den 14/6-2018.
• Selvom systemet kortvarigt skulle være utilgængelig kan brugerne stadig åbne og låse normalt. En eventuel nedetid påvirker kun indlogning, men ikke almindelig brug af mobilapplikationen.

For at sikre en fortsat stabil drift planlægger Bekey at opgradere en database server. Opgraderingen vil blive foretaget den 5. april 2017 mellem kl. 21 og 22 dansk tid.

Hvad vedligeholdelsen betyder for dig og dine brugere:

• I er sikret en endnu mere stabil drift med hurtigere svartider og dermed en bedre brugeroplevelse i fremtiden.
• Der kan forekomme minimal nedetid på op til 2 minutter i perioden kl. 21-22 dansk tid den 5/4-2017.
• Selvom systemet kortvarigt skulle være utilgængelig kan brugerne stadig åbne og låse normalt. En eventuel nedetid påvirker kun indlogning, men ikke almindelig brug af mobilapplikationen.

For at sikre en fortsat stabil drift planlægger Bekey ændringer af vores infrastruktur. Ændringerne vil blive foretaget den 28. februar 2017 mellem kl. 21 og 22 dansk tid.

Hvad vedligeholdelsen betyder for dig og dine brugere:

• I er sikret en endnu mere stabil drift med hurtigere svartider og dermed en bedre brugeroplevelse i fremtiden.
• Der kan forekomme minimal nedetid på op til 1 minut i perioden kl. 21-22 dansk tid den 28/2-2017.
• Selvom systemet kortvarigt skulle være utilgængelig kan brugerne stadig åbne og låse normalt. En eventuel nedetid påvirker kun indlogning, men ikke almindelig brug af mobilapplikationen.

Vores ingeniører foretager i dag en planlagt vedligeholdelse af vores testmiljø. Der kan forekomme nedetid på op til 2 minutter i tidsrummet fra kl. 12-13. Produktionsmiljøet er ikke påvirket.

For at forhindre gentagelser af problemet i går har vi opdateret vores procedurer som følger:

• Vi er skiftet til en moderne DNS-leverandør, som bruger Anycast-teknologi for at svare på forespørgsler fra dén server i et verdensomspændende netværk, som er nærmest brugeren.
• Vi har oprettet en ekstern status-side på bekeystatus.dk.

Søndag eftermiddag blev en af Bekeys underleverandører ramt af et alvorligt netværksnedbrud, som ifølge vores overvågning i en periode på 1,5 timer medførte problemer med at logge på Bekeys applikationer. Vi betragter nedbruddet som alvorligt og beklager den manglende information under udbedringen af problemet.

Med denne mail vil vi give et kort overblik over årsagen og vores tiltag. Bekeys leverandør af DNS (systemet for opslag af domænenavne) oplevede et netværksnedbrud på trods af at leverandørens datacenter rådede over redundante internetforbindelser. Bekeys interne overvågning opdagede fejlen og alarmerede teknikerne, som tog kontakt til underleverandøren. Leverandørens datacenter var da allerede i gang med at udbedre netværket, og kl. 16:12 besvarede vores servere igen samtlige forespørgsler.

Det er vigtigt for os at understrege, at ingen logs eller andre data er gået tabt under dette nedbrud, og at de fleste berettigede brugere under hele perioden var i stand til at åbne dørene de har adgang til, da Bekeys mobilapplikationer ikke kræver internetforbindelse efter loginhandlingen.

For at forhindre, at situationen fra i eftermiddags gentager sig, retter Bekey omgående sine nødprocedurer, herunder:

• Vi vil snarest skifte til en mere stabil underleverandør
• Vi vil gøre vores DNS infrastruktur lige så redundant som resten af vores driftssetup i Danmark for at undgå, at nedbrud hos én leverandør kan påvirke større dele af vores løsning
• Vi vil oprette en driftsstatusside på et eksternt domæne, som vi meddeler om snarest
• Vi vil gerne etablere en mailingliste og bede jer om at meddele os på drift@bekey.dk, hvilke kontaktpersoner hos jer vi bør informere i tilfælde af akutte problemer

Vi beklager de gener nedbruddet måtte have medført og står selvfølgelig til rådighed ved evt. spørgsmål.