You are browsing EzinArticles.com faster than a normal human would

Tidigare i veckan var jag inblandad i ett internt webbprojekt som till stor del bygger på skrapad data. Åtminstone i början då vi inte har egen unik data som användare kommer och skapar på vår egen sajt.

Efter att ett lättanvänt PHP-bibliotek specialbyggt för skrapningsändamål hittades gick det relativt smidigt att enkelt hacka ihop ett “snabbt” hack som slet av all data från extern sajt och som sedan preparerade data så den passade vår egna databas.

Nej, sajten var inte EzineArticles.com, dock fick jag en ide att pröva att skrapa en av de större sajterna på nätet efter att skriptet var färdigt. Efter att ha analyserat EzineArticles kod visade det sig vara en bagatell att skapa en bot som skrapade in 35 000 artiklar till MySQL-databasen på localhost.

Dessvärre visade det sig att jag nog inte var den första som var sugen på att bygga upp mitt eget arkiv med 100 000 textfiler att nyttja och slakta i målet att hitta den unika textkombinationen då EzineArticles hade satt in skrapningsspärr på sajten (vilket jag upptäckte efter att jag blev IP-bannad).

Nåja, ett steg fram och två steg tillbaka, en kollega föreslog att jag skulle titta på TOR som anonymerings-lösning så att jag skrapar från multipla IP istället för ett och samma IP, vi får se om jag orkar ta mig tid att kolla på TOR eller om jag siktar på en annan sajt istället.

Hur som helst, är du också sugen på att skrapa lite data från Internet tycker jag du också ska ta en titt på simplehtmldom.

Lycka till

Relaterade inlägg

• April 11, 2009 -- NetBeans för PHP (0)
• October 30, 2008 -- Nackdelen med Open Source – När saker inte fungerar (0)
• August 12, 2008 -- Google ur andra synvinklar (0)
• June 23, 2008 -- Limesurvey – ett enkelt samt kompetent PHP-baserat enkätverktyg (2)
• June 5, 2008 -- Korta recensioner om några Ajax, PHP och CSS böcker (0)