Smartspider

Smartspider is een bedrijf dat door middel van dataverzameling en -verwerking inzicht kan geven in bijvoorbeeld het nieuws van productprijzen in de markt.  

In het afgelopen half jaar hebben we voor het bedrijf Smartspider een applicatie gebouwd die bestaat uit 3 verschillende hoofdonderdelen:  

  1. Smartspider Collector – De verzamelapplicatie die ervoor zorgt dat gegevens op de juiste manier worden gevonden, gewijzigd en opgeslagen in de database. De grootste uitdaging in deze applicatie die we tegenkwamen was het vinden van de juiste gegevens op de websites, en ervoor te zorgen dat de gegevens altijd goed werden opgepakt. Een van deze uitdagingen waren de cookie-banners. Bij het zoeken naar een artikel was het geen probleem, maar bij het lezen van een artikel of product werd er bijvoorbeeld geen rekening gehouden met het feit dat er een cookiebanner in zat. Als dit het geval was, kwam alleen de tekst van de cookiebanner terug. We hebben dit probleem opgelost door bij het eerste bezoek aan de website op alle mogelijke knoppen te klikken en alle resulterende cookies op te slaan, en deze vervolgens bij elke aanvraag in de toekomst te versturen. Deze oplossing heeft ervoor gezorgd dat de gegevens niet langer worden verwijderd door cookiebannerafschriften. Ook zijn er koppelingen gemaakt met Facebook en Twitter om eenvoudig extra gegevens uit deze kanalen op te halen en op te nemen in het dataverzamelsysteem. 
  1. Smartspider API – de API zorgt ervoor dat de gegevens kunnen worden geïntegreerd in de webversie die we ook hebben gebouwd. De grootste uitdaging voor ons was om de verzamelde data veiliger te versturen en eenvoudig te vinden via de zoekfunctionaliteit. Daarnaast is er een integratie gemaakt met Stripe om het mogelijk te maken de data op te halen met een abonnement.
  1. Smartspider Web – Om al deze componenten samen te brengen is er een webapplicatie gemaakt die eenvoudig inzicht geeft in wat er gebeurt met de API en de Collector. Het is hier eenvoudig om de gedetailleerde informatie te zoeken, op te vragen en te bekijken. 

Deze 3 componenten leveren het totale product waarmee Smartspider haar klanten kan helpen inzicht te krijgen in processen met gegevens. Zo wordt deze tool op dit moment door Achmea gebruikt om automatisch nieuws te verkrijgen over bestanden met het bestand. 

No Name B.V. © Copyright @ 2020