[PHP] cURL 웹 스크래핑 시 403 error가 발생하여 수집할 수 없을 때

페이지 정보

shadow2fox 264 2 2 2023.10.15 02:33

평점

  • - 평점 : 5점 (2명 참여)

본문

📝 cURL 웹 스크래핑 시 403 error가 발생하여 데이터를 수집할 수 없을 때

얼마 전까지만 해도 문제 없이 작동했던 cURL 웹 스크래핑 함수가 403 error를 일으키며 원하는 데이터를 수집하지 못했다.
몇몇 공유 사이트에서 사용자 에이전트(user agent)를 수집하는 모양이다.
고로 cURL 웹 스크래핑 함수에 사용자 에이전트(user agent)를 정의해 알려주면 된다.


public function curl_web_scraping($url) {
    //cURL 403 error 해결
    $ua = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36';
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_USERAGENT, $ua);
    ..
    중략
    ..
    $output = curl_exec($ch);
    curl_close($ch);
    return $output;
}
추천인 2
  • 내사랑
  • 하늘구장
10
shadow2fox - 회원등급 : 자연/Level 142 - 포인트 : 2,539,564
레벨 142
경험치 3,034,188

Progress Bar 73%

- 가입일 : 2015-03-10 12:21:44
- 서명 : 인간에게 가장 큰 선물은 자기 자신에게 기회를 주는 것이다. - 크리스 가드너, Chris Gardner -
- 자기소개 : There's never a shortcut to happiness.

댓글2

내사랑님의 댓글

내사랑 2023.10.19 20:00

하나둘씩 수정해가는 쾌적한 환경 좋아요~~

하늘구장님의 댓글

하늘구장 2023.10.15 13:45

사운드 클라우드의 재생 정보를 가져오지 못했던 것 같은데 User-Agent를 추가하면 되겠네요 고맙습니다

축하합니다. 첫 댓글로 25경험치를 획득하였습니다.

축하합니다. 지뢰폭탄 제거로 26경험치를 획득하였습니다.