scrapeops.io를 이용한 proxy사용

주식정보등을 크롤링 할때면 문제되는 것이 중간 중간 차단되는 현상이 발생한다.
크롤링당하는 입장에서 보면 충분히 그렇다 할지라도 무료로 데이타를 구하는 입장에서는...
오늘은 scrapeops.io를 이용한 proxy를 사용한 프로그램 예제입니다.

API Key 획득

scrapeops.io 에 회원가입후 admin 페이지에서 키를 획득합니다.

사용법은 매우 간단합니다.

1. 아래처럼 함수를 만들고 API_KEY를 입력합니다.

from urllib.parse import urlencode
...........
def get_scrapeops_url(self, url):
  API_KEY = '.............'
  payload = {'api_key': API_KEY, 'url': url}
  proxy_url = 'https://proxy.scrapeops.io/v1/?' + urlencode(payload)
  return proxy_url

2. 아래처럼 호출하기만 하면 끝

requests.get(self.get_scrapeops_url(url))