Zkontrolujte zpětné odkazy stránky prostřednictvím API a ukládejte je do mezipaměti férově

Proč je krátká TTL jen darem pro váš zůstatek kreditů

Týmy začínající s daty o odkazech často kopírují zvyklosti z nástrojů pro sledování pozic. První zvyk: hodinová mezipaměť, protože pozice se mění. Grafy odkazů se mění jen málo.

Volání backlinks za 2 kredity stojí $0.0002. To zní jako nic, dokud si rozbalení seznamu na jedné stránce nevyžádá 50 takových volání při každém načtení napříč 400 aktivními pracovními prostory, opakovaně každou hodinu pro stejná data.

Následující vypočtená čísla jsou příkladem, nikoliv měřením provozu konkrétního uživatele. Předpokládejme 400 pracovních prostorů, 20 zobrazení domény denně, 2 kredity za zobrazení a 1hodinovou mezipaměť, která zasáhne jen zhruba jednu pětinu času. Většina zobrazení stále zasáhne API. Při použití klíče na měsíc by stejný provoz zasáhl API jen jednou za doménu a měsíc, takže právě tento rozdíl je podstatou receptu.

Nástroje pro výzkum klíčových slov potřebují čerstvější data a pro ně zůstávají velké kompletní balíky lepší volbou. Pro kontext odkazů je měsíční aktualizace tím správným produktem.

Je zastaralá data volbou produktu nebo chybou?

Číslo o odkazu může být staré měsíc a stále být správné pro index, ze kterého pochází. Skutečnou otázkou je, zda to vaše obrazovka říká. Většina tiketů podpory ohledně starých čísel je problémem označení. Označení to obvykle řeší.

Přiřaďte každému číslu měsíc indexu. Ukažte ho uživatelům. Jakmile mohou vidět datum, číslo přestane vypadat jako rozbitý datový zdroj a tento malý řádek udělá více než kratší TTL kdykoli.

Jak staré je příliš staré pro číslo o odkazu?

Náš index se aktualizuje přibližně jednou měsíčně, takže číslo uložené do mezipaměti první den popisuje stejný index jako číslo uložené poslední den. Nic v odpovědi se během měsíce nemění. Problémy nastávají, když uživatel očekává odkaz z včerejška, a pak je řešením jasné označení, jak je popsáno v označení hodnocení.

Potřebují volná volání přehledu vůbec mezipaměť?

Akce přehled stojí 0 kreditů, takže mezipaměť zde chrání rychlost, nikoliv zůstatek. Váš server stále platí za každý okruhový přenos a stránka, která se otevře padesátkrát za minutu, to pocítí. Uložte i zdarma dostupné odpovědi se stejným měsíčním klíčem a stránka zůstane rychlá, zatímco váš proxy server bude v klidu. Poznámky k veřejnému vyhledávání vysvětlují stejný nápad pro návštěvníky.

Měl by čerstvý odkaz obcházet mezipaměť?

Obvykle ne. Obcházení stojí kredity za odpověď, která je pravděpodobně totožná s tou z mezipaměti. Pokud zákazník trvá na vysvětlení, vysvětlete měsíc indexu a nabídněte jedno ruční obnovení na pracovní prostor a měsíc, spíše než otevřené tlačítko, které může kdokoli stisknout v smyčce.

Proč mezipaměť poráží scrapování při kontrole odkazů

Týmy, které potřebují hromadně kontrolovat zpětné odkazy stránek, často začínají skripty, které přímo dotazují vyhledávače. Tyto skripty se zasekávají. První den vypadají levně, proto je týmy používají mnohem déle, než by měly. Mezipaměť před stabilním API je obvykle levnější architektura s méně částmi, které je třeba udržovat.

Rozdíl se projeví spíše v inženýrských hodinách než na první faktuře. Udržujte mezipaměť nudnou a většina těchto hodin se nikdy nekoná.

Proč domácí kontroly odkazů neustále zasekávají?

Vyhledávače omezují automatizované dotazy, takže skript, který běží čistě pro padesát URL, se může zaseknout u padesáti tisíců. Opakování, proxy pooly a náhodná zpoždění přidávají náklady, které se neobjeví na řádku kreditů, a přestanou fungovat bez varování, když cíl změní své odpovědi.

Jak udržet dlouhou úlohu spustitelnou znovu?

Zapište každou hotovou doménu do mezipaměti průběžně. Pokud se úloha přeruší uprostřed, restart přeskočí všechny domény, které již mají uloženou odpověď, a pokračuje tam, kde skončil. Nic se neplatí dvakrát za stejný měsíc, protože klíč již obsahuje odpověď.

Spusťte úlohu rovnoměrným tempem spíše než jako jednorázový burst. Rozestupování volání udržuje logy čitelné a usnadňuje vysvětlení jakékoli změny v používání kreditů.

Kolik stojí seznam 22 000 URL s mezipamětí?

Řekněme, že potřebujete zkontrolovat 22 000 odkazujících URL pro jednoho klienta. Mnohé z nich sdílejí doménu, takže nejprve proveďte deduplikaci na domény. Těchto 22 000 odkazů se může snížit na několik tisíc unikátních domén a jedno volání bulk_dr vezme až 2 000 z nich za jeden kredit. Uložte každý výsledek podle domény a měsíce a seznam přestane být úlohou na úrovni URL. Udržujte výpočet v krátké poznámce vedle úlohy, aby si další osoba mohla úlohu znovu spustit s jinou velikostí seznamu. Číslo s uvedeným výpočtem je snazší důvěřovat než celkové součtu samotnému.

Kde to souvisí

Mezipaměť je prostřední vrstva v nastavení počítadla. Jakmile funguje, náklady na jednoho uživatele jsou předvídatelné a můžete kolem toho nastavit cenu plánu pomocí porovnání na uživatele. Krátké stránky si zaslouží jasný konec. Tato ho má.

Stránkování a klíč mezipaměti

Stránkování každého jednou zasáhne. Zahrňte ho do klíče.

Akce backlinks a refdomains vracejí až 1 000 řádků na volání, s page a per mezi 10 a 5 000 a hluboké stránkování je omezeno na 50 000 řádků, takže klíč bez těchto parametrů bude pro každý požadavek obsluhovat první stránku.

Třídění patří také do klíče. Uživatel, který přepne z sestupného DR na abecední, očekává jiný seznam, a mezipaměť musí vyhovět bez nového volání do nadřazeného systému, když je celá sada již uložena.

Rychlý test zachytí většinu chyb v klíči. Požádejte o druhou stránku, změňte třídění a pak zkontrolujte, zda se cached page two liší od cached page one. Pokud se neliší, klíč postrádá parametr. Zjištěno včas, stojí to minuty. Zákazník to neuvidí. Spusťte test znovu před každým vydáním, protože nová možnost třídění je obvyklým důvodem, proč klíč selhává. Zapište ho do svého kontrolního seznamu vydání.

Plánujte tlačítko exportu samostatně: jedna úloha na pozadí, jeden uložený soubor a jedno upozornění, když je připraven.