[PHP] cURL 웹 스크래핑 시 403 error가 발생하여 수집할 수 없을 때

페이지 정보

shadow2fox shadow2fox 825 2 2 2023.10.15 02:33:32

평점

  • 평점 : 5점 (2명 참여)

본문

📝 cURL 웹 스크래핑 시 403 error가 발생하여 데이터를 수집할 수 없을 때

얼마 전까지만 해도 문제 없이 작동했던 cURL 웹 스크래핑 함수가 403 error를 일으키며 원하는 데이터를 수집하지 못했다.
몇몇 공유 사이트에서 사용자 에이전트(user agent)를 수집하는 모양이다.
고로 cURL 웹 스크래핑 함수에 사용자 에이전트(user agent)를 정의해 알려주면 된다.


public function curl_web_scraping($url) {
    //cURL 403 error 해결
    $ua = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36';
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_USERAGENT, $ua);
    ..
    중략
    ..
    $output = curl_exec($ch);
    curl_close($ch);
    return $output;
}
추천인 2
  • 012i1052u
    내사랑
  • skyfield4u
    하늘구장
shadow2fox
10
shadow2fox - 회원등급 : 자연/Level 147 - 포인트 : 2,608,742
레벨 147
경험치 3,228,156

Progress Bar 20.09%

- 가입일 : 2015-03-10 12:21:44
- 서명 : 인간에게 가장 큰 선물은 자기 자신에게 기회를 주는 것이다. - 크리스 가드너, Chris Gardner -
- 자기소개 : There's never a shortcut to happiness.

댓글2

내사랑님의 댓글

012i1052u
내사랑 2023.10.19 20:00
하나둘씩 수정해가는 쾌적한 환경 좋아요~~

하늘구장님의 댓글

skyfield4u
하늘구장 2023.10.15 13:45
사운드 클라우드의 재생 정보를 가져오지 못했던 것 같은데 User-Agent를 추가하면 되겠네요 고맙습니다

축하합니다. 첫 댓글로 25경험치를 획득하였습니다.

축하합니다. 지뢰폭탄 제거로 26경험치를 획득하였습니다.

Total 759238 페이지

제목 글쓴이 날짜 조회 추천
그누•영카트  댓글+2 인터넷 상에서 텍스트를 복사할 경우 한글이 자소로 분리되는 문제 해결하기 shadow2fox 2023.12.18 788 2
그누•영카트  댓글+2 그누보드(영카트) 5.5.10 shadow2fox 2023.11.10 634 2
그누•영카트  댓글+2 그누보드(영카트) 5.5.9 shadow2fox 2023.10.19 608 2
PHP  댓글+2 🚩 cURL 웹 스크래핑 시 403 error가 발생하여 수집할 수 없을 때 shadow2fox 2023.10.15 826 2
에디터  댓글+2 CKEditor 4.x 링크 이용 시 rel 속성 noopener, noreferrer, nofollow 자동으로 삽입하기 shadow2fox 2023.10.15 815 2
그누•영카트  댓글+1 그누보드(영카트) 5.5.8.3.4 (★ 5.5.8.3.3 버전 사용자님은 필독해 주세요) shadow2fox 2023.08.20 590 1
그누•영카트  그누보드(영카트) 5.5.8.3.3 shadow2fox 2023.08.20 841 2
그누•영카트  댓글+2 그누보드(영카트) 5.5.8.3.2 shadow2fox 2023.07.18 748 3
그누•영카트  댓글+2 그누보드(영카트) 5.5.8.3.1 shadow2fox 2023.06.19 833 2
이윰  댓글+2 PATH만 지원되는 filemtime을 curl 이용하여  URL을 지원하도록 확장하기 shadow2fox 2023.06.13 610 2
이윰  댓글+2 비메오 썸네일 추출 올바르게 적용하기 shadow2fox 2023.04.24 900 2
그누•영카트  댓글+1 그누보드(영카트) 5.5.8.3 shadow2fox 2023.04.20 647 2
그누•영카트  [KG이니시스 결제 사용자 필독] 그누보드(영카트) 5.5.8.2.9 shadow2fox 2023.04.14 770 0
그누•영카트  댓글+2 그누보드(영카트) 5.5.8.2.8 shadow2fox 2023.03.24 641 2
이윰  댓글+2 date 시간 형식으로 출력(~전) 올바르게 해결하기 shadow2fox 2023.03.10 795 2
이윰  댓글+5🏆 유튜브 "이 동영상은 볼 수 없습니다" 해결하기 shadow2fox 2023.02.20 2,171 3
그누•영카트  그누보드(영카트) 5.5.8.2.7 shadow2fox 2023.01.27 649 0
그누•영카트  댓글+2 그누보드(영카트) 5.5.8.2.6 shadow2fox 2023.01.14 667 2
그누•영카트  댓글+2 그누보드(영카트) 5.5.8.2.5 shadow2fox 2022.12.08 799 1
그누•영카트  댓글+1 그누보드(영카트) 5.5.8.2.4 shadow2fox 2022.11.22 690 1