Ρυθμίστε και εκτελέστε έναν crawler

Δημιουργήστε έναν crawler

1. Πληκτρολογήστε όνομα και το πλήρες δημόσιο URL του XML sitemap.
2. Επιλέξτε πρόγραμμα Disabled, Daily, Weekly ή Monthly.
3. Επιλέξτε τον κανόνα εξαγωγής reference ID.
4. Ορίστε chunk size, overlap και score threshold.
5. Αποθηκεύστε.

Υποστηρίζονται nested sitemap indexes και συμπιεσμένα sitemaps .xml.gz. Ιδιωτικά sitemaps ή sitemaps που προστατεύονται με κωδικό δεν υποστηρίζονται.

Η επιλογή Doublewire markers only είναι η ασφαλέστερη για τα references. Χρησιμοποιήστε fallback για product ID του schema.org μόνο όταν αυτά τα product IDs ή SKUs είναι σταθερά αναγνωριστικά στο σύστημα προέλευσης.

Ξεκινήστε ένα crawl

Ανοίξτε τον crawler και επιλέξτε Crawl Now. Το Doublewire διαβάζει το sitemap, εντοπίζει τις επιτρεπόμενες σελίδες, ανανεώνει γνωστά URLs, εξάγει το κύριο περιεχόμενο, το χωρίζει και δημιουργεί το περιεχόμενο αναζήτησης.

Αν υπάρχουν αποτυχημένες σελίδες, επιλέξτε αν θα επαναληφθούν και αυτές. Χρησιμοποιήστε το Retry Failed όταν θέλετε να επαναληφθούν μόνο οι αποτυχημένες σελίδες.

Σταματήστε ή κάντε reset

Το Stop Crawl ακυρώνει την ανολοκλήρωτη εργασία. Σελίδες που έχουν ήδη επεξεργαστεί παραμένουν διαθέσιμες, ενώ οι ανολοκλήρωτες γίνονται Cancelled και μπορούν να συνεχιστούν σε επόμενο crawl.

Αν ο αριθμός ενεργών σελίδων είναι πάνω από το τρέχον επιτρεπόμενο όριο, το Doublewire προσφέρει Reset and Crawl αντί για μια κανονική εκτέλεση που δεν μπορεί να ολοκληρωθεί. Επιβεβαιώνει το sitemap, αφαιρεί την παλιά ενεργή λίστα σελίδων από την αναζήτηση των assistants και ξεκινά ξανά μέσα στο τρέχον όριο.

Ρυθμίστε τις ειδοποιήσεις

Επιλέξτε τις προτιμήσεις ειδοποιήσεων για τα crawler runs στο Profile > Notification preferences. Κάθε διαθέσιμος τρόπος ειδοποίησης μπορεί να ρυθμιστεί για όλα τα αποτελέσματα, μόνο για αποτυχίες ή να απενεργοποιηθεί.