Odborník společnosti Semalt na škrábání dat z webových stránek - dobré a špatné roboty

Webové škrabání existuje již dlouhou dobu a je považováno za užitečné pro webmastery, novináře, nezávislé pracovníky, programátory, neprogramátory, marketingové výzkumníky, vědce a odborníky na sociální média. Existují dva typy robotů: dobré a špatné. Dobré roboty umožňují vyhledávačům indexovat webový obsah a odborníci na trh a digitální obchodníci dostávají vysokou prioritu. Špatné roboty jsou naopak zbytečné a jejich cílem je poškodit hodnocení vyhledávače stránek. Zákonnost škrabání na webu závisí na tom, jaký typ robotů jste použili.

Například, pokud používáte špatné roboty, které načítají obsah z různých webových stránek s úmyslem jej nelegálně používat, může být škrábání webu škodlivé. Ale pokud využijete dobré roboty a vyhnete se škodlivým činnostem, jako jsou útoky na odmítnutí služeb, online podvody, konkurenční strategie dolování dat, krádeže dat, únosy účtů, neoprávněné skenování zranitelnosti, podvody s digitální reklamou a krádež duševních vlastností, pak je postup stírání webu dobrý a užitečný pro růst vašeho podnikání na internetu.

Většina freelancerů a startupů bohužel miluje špatné roboty, protože jsou levným, výkonným a komplexním způsobem sběru dat bez nutnosti partnerství. Velké společnosti však využívají legální webové škrabky pro své zisky a nechtějí ničit svou pověst na internetu nelegálními škrabkami na internetu. Zdá se, že na obecných názorech na legálnost webového škrabání nezáleží, protože v posledních několika měsících se ukázalo, že federální soudní systémy stále více zakazují nezákonné strategie škrabání na webu.

Webové škrabání začalo jako nelegální proces již v roce 2000, kdy bylo používání botů a pavouků pro škrábání webových stránek považováno za nesmysl. Nebylo upraveno mnoho postupů, které by zabránily šíření tohoto postupu na internetu do roku 2010. eBay nejprve podala předběžná opatření proti Bidder's Edge a tvrdila, že používání robotů na webových stránkách porušilo zákony Trespass to Chattels. Soud brzy vydal soudní příkazy, protože uživatelé se museli dohodnout na podmínkách webu a velké množství robotů bylo deaktivováno, protože by mohly poškodit počítačové stroje eBay. Soudní proces byl brzy vyřízen před soudem a eBay zastavil každého z používání robotů pro škrabání na webu bez ohledu na to, zda jsou dobří nebo špatní.

V roce 2001 cestovní kancelář žalovala konkurenty, kteří seškrábali její obsah z webových stránek pomocí škodlivých pavouků a špatných robotů. Soudci znovu přijali opatření proti zločinu a zvýhodnili oběti s tím, že škrábání z webu i používání robotů může poškodit různé online obchody.

V dnešní době, pro akademickou, soukromou a informační agregaci, se mnoho lidí spoléhá na spravedlivé postupy pro stírání webu a v tomto ohledu bylo vyvinuto mnoho nástrojů pro stírání webu . Nyní úředníci tvrdí, že ne všechny tyto nástroje jsou spolehlivé, ale ty, které přicházejí v placené nebo prémiové verzi, jsou lepší než bezplatné webové škrabky .

V roce 2016 schválil Kongres první právní předpis, který se zaměřil na špatné roboty a upřednostňoval dobré roboty. Byl vytvořen zákon o lepším prodeji vstupenek online (BOTS), který zakazoval používání nelegálního softwaru, který by mohl cílit na webové stránky, poškozovat jejich pořadí vyhledávačů a ničit jejich podnikání. Jsou tu záležitosti poctivosti. Například, LinkedIn utratil spoustu peněz za nástroje, které blokují nebo eliminují špatné roboty a povzbuzují dobré roboty. Vzhledem k tomu, že soudy se pokoušejí rozhodnout o zákonnosti webového škrabání, společnosti odcizují své údaje.