- Published on
크롤링이 차단되는 7가지 패턴과 각각의 우회 기법. User-Agent, 헤더, 딜레이, 프록시 로테이션, Cloudflare Turnstile, 캡차 우회까지 실전 코드와 함께.
크롤링 · 스크래핑 · 자동화 외주
DART 전자공시, 국가법령정보, 부동산 실거래가, 입찰공고, 주가 데이터까지 — 한국 웹사이트와 공공 API에서 필요한 데이터를 자동으로 수집·가공·알림하는 맞춤형 시스템을 만들어드립니다.
DART, 국가법령, KRX, 한국은행, 공공데이터포털 등 한국 공공/금융 API 활용 전문
단순 데이터 수집을 넘어 DB 저장, 대시보드, 텔레그램·슬랙 알림까지 통합 구축
Cloudflare 우회, 프록시 로테이션, Playwright/Selenium 모두 다룹니다
사이트 구조 변경 등 발생 시 6개월간 무상 대응 + 월정기 운영 서비스
크롤링 기술, 자동화 사례, 프로젝트 회고