Lögun vefsköfu - Semalt Expert

Vefsköfu er viðbót Chrome vafra sem miðar að því að draga gögn af vefsíðum. Með þessari viðbót geturðu búið til sitemap eða áætlun sem sýnir viðeigandi leið til að sigla á vefsíðu og draga gögn úr henni.

Eftir sitemapinn þinn mun Vefskafinn vafra um upprunasíðuna eftir síðu og skafa það efni sem þarf. Hægt er að flytja útdráttar gögn sem CSV eða önnur snið. Að auki er hægt að setja þessa viðbót frá Chrome Store án vandræða.

Nokkrir eiginleikar Vefsköfu eru tilgreindir hér að neðan

  • Geta til að skafa margar síður

Tólið hefur getu til að vinna úr gögnum frá nokkrum vefsíðum samtímis ef það er mælt fyrir um það í vefkortinu. Ef þú þarft að vinna úr öllum myndum af 100 síðna vefsíðu getur það verið tímafrekt fyrir þig að skoða hverja síðu og fá vitneskju um hverjar eru myndir og hverjar ekki. Svo geturðu leiðbeint tólinu um að skoða myndir á hverri síðu.

  • Tólið geymir gögn í CouchDB eða staðargeymslu vafra
  • Tólið geymir sitemaps og dregur út gögn annað hvort í staðargeymslu vafrans eða CouchDB
  • Getur dregið út mörg gögn

Þar sem tólið getur unnið með margar tegundir gagna geta notendur valið margar tegundir gagna til útdráttar á sömu síðu. Til dæmis getur það skafið bæði myndir og texta af vefsíðum á sama tíma

  • Skafið gögn af kraftmiklum síðum

Vefskafinn er svo öflugur að hann getur skafið gögn jafnvel frá svo kraftmiklum síðum eins og Ajax og JavaScript

  • Geta til að skoða útdregin gögn

Tólið gerir notendum kleift að skoða skafa gögn jafnvel áður en þau eru vistuð á tilnefndum stað

  • Það flytur út dregin gögn sem CSV

Web Scraper flytur út gögn sem CSV sjálfgefið en það getur líka flutt þau út á öðrum sniðum.

  • Útflutningur og innflutningur sitemaps

Þú gætir þurft að nota sitemaps mörgum sinnum svo að tólið geti flutt inn og flutt út sitemaps ef óskað er.

  • Veltur aðeins á Chrome vafranum

Því miður er þetta frekar galli sem kostur. Það virkar eingöngu með Chrome vafra.

Önnur tæki til að skafa

Það eru nokkur einföld tól til að skafa gögn sem geta einnig verið gagnleg fyrir þig. Sum þeirra eru talin upp hér að neðan.

1. Scrapy

Hægt er að nota þennan ramma til að skafa allt innihald vefsíðu þinnar. Efni skafa er ekki eina hlutverk þess. Það er einnig hægt að nota til sjálfvirkra prófa, eftirlits, námuvinnslu gagna, vefskriðs, skrappa og margra annarra nota.

2. Wget

Þú getur líka notað Wget til að skafa heila vefsíðu auðveldlega. En það er lítill galli við þetta tól, það getur ekki flokka CSS skrár.

3. Þú getur líka notað eftirfarandi skipun til að skafa innihald vefsíðunnar þinna áður en þú dregur það í sundur:

file_put_contents ('/ some / directory / scrape_content.html', file_get_contents ('http://google.com'));

mass gmail