Snapchat Elanları serverlərimizi necə məhv etdi

Snapchat Ads platformasında 10-dan az reklamın bir həftə sonu mənim serverlərimizin CPU yükləməsinin 100% -ə getdiyini və sistemlərimizi cavabsız etdiyini anlamaq üçün necə çalışdığımın əhvalatı.

Bu qəzaya görə Snapchat-ı günahlandırmadığımı vurğulamaq istəyirəm. İndiki vaxtda onu idarə etməyin üsulları var.

Snapchat Elanlarımızdan biridir

Uzun versiyanı oxumaq istəmirsinizsə. Budur bir TL; DR versiyası.

Marketinq meyllərinə tabe olmayanlar üçün burada böyük bir şey var. Snapchat yeni Reklamlar xidmətini may ayının əvvəlində açdı.

Baş verənləri nəzərdən keçirmək üçün bu nömrəni xatırlamaq lazımdır: 161 milyon. Snapchat gündə 161 milyon aktiv istifadəçiyə çatır.

Antecedents

Müxtəlif Rəqəmsal Reklam platformalarından (Google, Facebook, Twitter, Yandex və əlbəttə ki, indi Snapchat) bizə çatan istifadəçilərə Açılış Səhifələri təqdim edən texniki olaraq daxili qurulmuş CMS-i idarə edirəm. Platformanın əsas tələblərindən biri səhifələrində edilən hər hansı bir dəyişikliyin son istifadəçilərə dərhal əks olunmasıdır. Artıq beyin mexaniklərinizin fırlanmasını eşidirəm, serverlərə təsir etmədən buna nail olmağın bir neçə yolu var, ancaq dəyişikliklərin dərhal anlaşılacağına və 3 fərqli komanda cəlb etmədən "vaxtında" inşa edilə bilməz.

Bu tələbi düşüncəmdə saxlayaraq serverləri yaddaş səviyyəsində qurmağı qərara aldıq ki, açarları ilə yeniləyərək asanlıqla yeniləyək. Bu platformanın istifadə etməsi lazım olan miqdarı (hər dəfə deyildiyi zaman, belimdən kölgələr göndərir) alacaqların sayı o qədər də yüksək deyil, buna görə kifayət olmalıdır.

Gün 0

Mən yarım yatıram, pjs-də, 3 aylıq qızıma bir Twitch axınını seyr edərkən şüşə bəsləyirəm və şənbə səhəridir. Birdən telefonum zəng çaldı, bu menecerimdir. Mən onu geri çağırıb dinləyiciyə qoydum:

Viktor, Google-dan çox sayda xəbərdarlıq alıram, onlar bütün reklamlarımızı rədd edir və aradan buraxırlar. Serverlərimiz aşağı düşmüş kimi görünür.

Əgər əvvəllər texnikada işləmisinizsə və bu kimi bir zəng / e-poçtunuz varsa, artıq hiss etdiyim panikanı hiss edə bilərsiniz.

Sürətlə onunla, Texnologiya Direktoru (TD) və özümlə bir Skype video zəngini etdik. Platformamıza (server deyil) daxil olmaq və hansı sahələrin pozulduğunu yoxlamaq istəyərkən qızımı şüşə bəsləyirəm ... hamısı, serverlər cavab vermir.

TD serverə daxil olur və CPU'ları 100% səviyyəsində görür. Bu həftə heç bir kod yükləmə yox idi, əgər problem varsa, bu yeni bir kampaniya və ya CMS-də səhv bir iş görülmüşdür. Serverlərdən birini Yük Balansçısından çıxartmağı və qeydləri yoxlamağı bacarırıq.

Server Xaos

Dəqiqədə minlərlə zəng alırıq. Kimsə bizi DDoS etməyə çalışır?

Serverləri bağlayın. Onları yenidən yandırın. 10 saniyədən az müddətdə CPU 100%.

Rəqəmsal Reklam Menecerlərini söhbətə əlavə edirik və onlardan biri qeyd edir:

Bunlar Snapchat Elanlarıdır

Nə? Nə vaxt? Üst?

Snapchat Elanları həqiqətən yaxşı çevirirmi? Cavab YOX.

Snapchat Elanları istifadəçiyə göstərildiyi anda təyinat URL-i əvvəlcədən alın. Beləliklə, bir istifadəçi hər hansı bir reklamımızı görəndə telefonu məzmunu əldə etmək üçün serverlərimizə zəng vurur ki, səhifə dərhal istifadəçiyə göstəriləcəkdir. Bu yandıra və söndürə biləcəyiniz bir şey deyil, bu standart davranışdır.

Əvvəldə sizə dediyim nömrəni xatırlayın? Ok, bizim 161.000.000 baxışımız yox idi, amma trafikin bu miqdarını uda biləcək CDN olmadan 2 server sistemində 3.800.000 baxış keçirdik. Həm də İnternetdə Reklamların cüzi bir faizi vardı, ən azı 20 qat daha çox Reklam təqdim etməyi planlaşdırırdıq.

Çox yaxşı olmayan xəbər: Reklamlarımızı görən 3.800.000 istifadəçidən 38.000 saytımızı gördü.

Bu 1% -dir.

Snapchat-ın yanaşmasını doğru hesab etmirəmsə, onların həllini müştərilərinə buraxdıqlarını başa düşürəm (Reklamlar müştəriləri, aka bizə).

Əvvəllər Snapchat Elanlarımız var idi, lakin bütün Reklamlarımız əsas veb saytlarımıza, CDN olan serverlərimizə işarə edir və buna görə Reklamları dərc edən komanda bunun baş verə biləcəyini əvvəlcədən dərk etmirdi.

İndiki

Bu serverlərə işarə edən bütün elanları söndürdük.

Plan bu CMS-lərin CDN-ə daxil edilməsi və istifadəçinin məzmununu yeniləməsi ilə CDN-in hər hansı bir səhifənin yaddaşını yeniləməsini təmin edən bir xidmət yaratmaqdır. Sabah bunu Fransadakı səhifələrimizdə sınayacağıq və sonra bu bazar üçün Reklamları yenidən işə salacağıq.

Bununla yanaşı, davamlı olaraq serverə bir nəzər salacağam və CDN xərclərimizin dam örtüyünə keçməməsini təmin edəcəyəm.

TL; DR versiyası

Snapchat Elanları, istifadəçinin Elanı dəyişdirərək (səhifəyə daxil olmaq istədiyi) istəməməsindən asılı olmayaraq platformada istənilən reklamla əlaqəli səhifələrin əvvəlcədən alınmasını edir. Bu, heç bir CDN olmayan CMS-ə 24 saat ərzində 3.8M istifadəçi gətirdi. CPU-lar 100% yüklənməyə başladılar və bu CMS-yə işarə edən Snapchat-dakı bütün elanlarımızı dayandırmalı olduq.