Challenge
Diseñar herramientas robustas para tareas repetitivas con fuentes externas inestables: paginas dinamicas, APIs no oficiales y flujos de alto volumen.
← Volver al portfolio
Case Study
Automation Tools
Toolkit de automatizacion y crawling para validacion de datos, descubrimiento de dominios y seguimiento de eventos en APIs externas.
Arquitectura
- Selenium + webdriver-manager para automatizacion browser-based.
- Scrapy + CrawlSpider para exploracion asincrona con reglas.
- Watchers API con deduplicacion y modulo compartido reutilizable.
- Pipelines de ingestion documental con crawler + vector memory experiments.
Decisiones Tecnicas
- Uso de explicit waits y fallback clicks para estabilidad en DOM dinamico.
- Filtrado por heuristicas de contenido y normalizacion de dominios.
- Separacion de nucleo compartido para evitar duplicacion entre proyectos.
Resultado
- Herramientas orientadas a productividad real y repetibilidad operativa.
- Automatizacion aplicable a QA, data acquisition y monitoreo continuo.
- Base lista para evolucionar a pipelines de datos mas amplios.