Kontrollera sidors backlänkar via ett API och cacha det på ett ärligt sätt

Varför en kort TTL bara är en donation till ditt kreditbalans

Team som är nya på länkdatabas kopierar ofta vanor från rankningsverktyg. Van nummer ett: en timme lång cache, eftersom positioner ändras. Länkgrafer ändras nästan inte.

Ett backlinks-anrop som kostar 2 krediter kostar $0,0002. Det låter som ingenting förrän en listvy skickar 50 sådana anrop per sidvisning över 400 aktiva arbetsområden, upprepade varje timme för identiska svar.

De uträkningar som följer är ett exempel, inte en mätning av någon trafik. Anta 400 arbetsområden, 20 domänvisningar vardera per dag, 2 krediter per visning och en 1-timmars cache som träffar kanske en femtedel av tiden. De flesta visningar träffar fortfarande API:et. Med en målnyckel skulle samma trafik bara nå API:et en gång per domän och månad, så gapet är hela poängen med receptet.

Nyckelordsforskningsverktyg behöver färska data, och för dem är de stora paketen fortfarande det bättre valet. För länkkontext är månatlig data produkten.

Är föråldrad data ett produktval eller ett fel?

En länksiffra kan vara en månad gammal och fortfarande vara korrekt för det index den kommer från. Frågan är om din skärm säger det. De flesta supportärenden om gamla siffror handlar om etiketteringsproblem. Etiketter löser dem vanligtvis.

Ge varje siffra dess indexmånad. Visa den för användarna. När de kan se datumet slutar siffran att se ut som en trasig flöde, och den lilla raden gör mer än en kortare TTL någonsin kan.

Hur gammal är för gammal för en länksiffra?

Vårt index uppdateras ungefär en gång i månaden, så en siffra som cachelagrades på första dagen beskriver samma index som en som cachelagrades på sista dagen. Inget i svaret ändras inom månaden. Problem uppstår när en användare förväntar sig en länk från igår, och då är lösningen en tydlig etikett, som beskrivs i score labels.

Behöver gratis översiktsanrop en cache alls?

Översiktsåtgärden kostar inga krediter, så cachen här skyddar hastighet snarare än balansen. Din server betalar fortfarande för varje rundresa, och en sida som öppnas femtio gånger i minuten kommer att känna det. Lagra även de gratis svaren, med samma månadnyckel, så att sidan förblir snabb medan din proxy förblir tyst. Noteringar för offentlig sökning förklarar samma idé för besökare.

Ska en färsk länk någonsin kringgå cachen?

Vanligtvis nej. Ett kringgående kostar krediter för ett svar som troligen är identiskt med det cachade. Om en kund insisterar, förklara indexmånaden och erbjuda en manuell uppdatering per arbetsområde och månad, snarare än en öppen knapp som någon kan trycka i en loop.

Varför en cache slår scraping för länkontroller

Team som behöver kontrollera sidors backlänkar i stor skala börjar ofta med skript som frågar sökmotorer direkt. Dessa skript stannar. De ser billiga ut på dag ett, vilket är varför team behåller dem längre än de borde. En cache framför ett stabilt API är vanligtvis den billigare designen, med färre rörliga delar att sköta.

Skillnaden syns i ingenjörstimmar mer än på den första fakturan. Håll cachen tråkig, så att de flesta av dessa timmar aldrig händer.

Varför fastengjorda länkkontroller stannar?

Sökmotorer throttlar automatiska förfrågningar, så ett skript som fungerar felfritt för femtio URL:er kan stanna vid femtiotusen. Omförsök, proxy-pooler och slumpmässiga fördröjningar lägger till kostnader som aldrig visas på en kreditrad, och de bryts utan varning när målet ändrar sina svar.

Hur gör du ett långt listjobb omstartbart?

Skriv varje färdig domän till cachen medan du går. Om jobbet stannar mitt i, hoppar en omstart över alla domäner som redan har ett lagrat svar och fortsätter där det slutade. Inget laddas två gånger för samma månad, eftersom nyckeln redan innehåller svaret.

Kör jobbet i ett jämnt tempo snarare än i en enda burst. Att sprida ut anropen gör loggarna läsbara och gör att en ändring i kreditanvändning är lätt att förklara.

Vad kostar en lista med 22 000 URL:er med en cache?

Säg att du behöver kontrollera 22 000 länkande URL:er för en kund. Många av dem delar en domän, så deduplicera till domäner först. Dessa 22 000 länkar kan minska till några tusen unika domäner, och ett bulk_dr-anrop tar upp till 2 000 av dem för en enda kredit. Lagra varje resultat per domän och månad, och listan slutar vara ett per-URL-jobb. Håll aritmetiken i en kort anteckning bredvid jobbet, så att nästa person kan köra om det med en annan liststorlek. En siffra med dess uträkning visad är lättare att lita på än en total i sig.

Var detta kopplas

Cachen är mellanskiktet i räknaruppsättningen. När den fungerar blir kostnaden per användare förutsägbar och du kan prissätta en plan baserat på det med jämförelse per användare. Kortare sidor förtjänar en tydlig slut. Denna har det.

Sidnumrering och cachenyckeln

Sidnumrering bitar alla en gång. Inkludera det i nyckeln.

Åtgärderna backlinks och refdomains returnerar upp till 1 000 rader per anrop, med page och per mellan 10 och 5000, och djup sidnumrering är begränsad till 50 000 rader, så en nyckel utan dessa parametrar kommer att betjänas sida ett för varje förfrågan.

Sortering tillhör också nyckeln. En användare som byter från DR fallande till alfabetisk förväntar sig en annan lista, och cachen måste ge efter utan ett nytt upstream-anrop när hela setet redan är lagrat.

Ett snabbt test fångar de flesta nyckelfel. Begär sida två, ändra sorteringen, kontrollera sedan att den cachade sidan två skiljer sig från den cachade sidan ett. Om det inte gör det, saknas en parameter i nyckeln. Hittad tidigt kostar det minuter. En kund ser det aldrig. Kör testet igen innan varje utsläpp, eftersom en ny sorteringsalternativ är den vanliga anledningen till att nyckeln bryts. Skriv in det i din utsläpschecklista.

Planera exportknappen separat: ett bakgrundsjobb, en lagrad fil och ett meddelande när det är klart.