[PHP] cURL 웹 스크래핑 시 403 error가 발생하여 수집할 수 없을 때

페이지 정보

shadow2fox shadow2fox 887 2 2 2023.10.15 02:33:32

평점

  • 평점 : 5점 (2명 참여)

본문

📝 cURL 웹 스크래핑 시 403 error가 발생하여 데이터를 수집할 수 없을 때

얼마 전까지만 해도 문제 없이 작동했던 cURL 웹 스크래핑 함수가 403 error를 일으키며 원하는 데이터를 수집하지 못했다.
몇몇 공유 사이트에서 사용자 에이전트(user agent)를 수집하는 모양이다.
고로 cURL 웹 스크래핑 함수에 사용자 에이전트(user agent)를 정의해 알려주면 된다.


public function curl_web_scraping($url) {
    //cURL 403 error 해결
    $ua = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36';
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_USERAGENT, $ua);
    ..
    중략
    ..
    $output = curl_exec($ch);
    curl_close($ch);
    return $output;
}
추천인 2
  • 012i1052u
    내사랑
  • skyfield4u
    하늘구장
shadow2fox
10
shadow2fox - 회원등급 : 자연/Level 147 - 포인트 : 2,613,648
레벨 147
경험치 3,240,032

Progress Bar 47.02%

- 가입일 : 2015-03-10 12:21:44
- 서명 : 인간에게 가장 큰 선물은 자기 자신에게 기회를 주는 것이다. - 크리스 가드너, Chris Gardner -
- 자기소개 : There's never a shortcut to happiness.

댓글2

내사랑님의 댓글

012i1052u
내사랑 2023.10.19 20:00
하나둘씩 수정해가는 쾌적한 환경 좋아요~~

하늘구장님의 댓글

skyfield4u
하늘구장 2023.10.15 13:45
사운드 클라우드의 재생 정보를 가져오지 못했던 것 같은데 User-Agent를 추가하면 되겠네요 고맙습니다

축하합니다. 첫 댓글로 25경험치를 획득하였습니다.

축하합니다. 지뢰폭탄 제거로 26경험치를 획득하였습니다.

Total 762126 페이지

제목 글쓴이 날짜 조회 추천
그누•영카트  댓글+1 그누보드(영카트) 5.6.14 shadow2fox 2025.06.14 94 2
PHP  댓글+1📸 node.js를 윈도우 서버에 설치하고 peppeteer 라이브러리를 이용하여 og:image를 추출해 보자 shadow2fox 2025.06.13 83 2
PHP  댓글+1 PHP에서 변수의 값이 날짜 형식이고 유효한 날짜 형식인지 검증해 보자 shadow2fox 2025.06.06 107 1
그누•영카트  댓글+2 그누보드(영카트) 5.6.13 shadow2fox 2025.05.15 167 2
에디터  댓글+1 CKEditor 4.x 툴바에서 소스 글자 지우기 shadow2fox 2025.05.04 239 2
그누•영카트  댓글+2 그누보드(영카트) 5.6.12 shadow2fox 2025.04.16 230 2
그누•영카트  댓글+2 그누보드(영카트) 5.6.11 shadow2fox 2025.04.16 220 2
그누•영카트  댓글+2 그누보드(영카트) 5.6.10 shadow2fox 2025.02.25 243 2
그누•영카트  댓글+2 그누보드(영카트) 5.6.9 shadow2fox 2025.01.22 310 2
그누•영카트  댓글+2 그누보드(영카트) 5.6.8 shadow2fox 2024.11.27 392 3
그누•영카트  댓글+2 그누보드(영카트) 5.6.7 shadow2fox 2024.11.01 450 2
그누•영카트  댓글+1 그누보드(영카트) 5.6.6 shadow2fox 2024.09.24 332 1
그누•영카트  댓글+1 그누보드(영카트) 5.6.5 shadow2fox 2024.09.05 353 1
그누•영카트  댓글+2 그누보드(영카트) 5.6.4 shadow2fox 2024.07.04 479 2
그누•영카트  댓글+2 그누보드(영카트) 5.5.17 shadow2fox 2024.06.09 565 2
이윰  댓글+1 게시글 삭제 시 입력한 태그 삭제하기 shadow2fox 2024.05.11 531 2
그누•영카트  댓글+2 그누보드(영카트) 5.5.16 shadow2fox 2024.04.18 505 2
그누•영카트  댓글+2📸 그누보드(영카트) 5.5.15 shadow2fox 2024.04.12 529 2
그누•영카트  댓글+3 그누보드(영카트) 5.5.14 shadow2fox 2024.04.04 659 2
그누•영카트  댓글+2 그누보드(영카트) 5.5.13 shadow2fox 2024.02.20 777 2
그누•영카트  댓글+2 그누보드(영카트) 5.5.12 shadow2fox 2024.01.26 639 2
그누•영카트  댓글+2 그누보드(영카트) 5.5.11 shadow2fox 2024.01.03 841 2
에디터  댓글+2🏆 CKEditor 4.x 버전 체크로 인한 콘솔 에러 해결하기 shadow2fox 2023.12.24 1,636 3
그누•영카트  댓글+2 인터넷 상에서 텍스트를 복사할 경우 한글이 자소로 분리되는 문제 해결하기 shadow2fox 2023.12.18 879 2
그누•영카트  댓글+2 그누보드(영카트) 5.5.10 shadow2fox 2023.11.10 686 2
그누•영카트  댓글+2 그누보드(영카트) 5.5.9 shadow2fox 2023.10.19 691 2
PHP  댓글+2 🚩 cURL 웹 스크래핑 시 403 error가 발생하여 수집할 수 없을 때 shadow2fox 2023.10.15 888 2
에디터  댓글+2 CKEditor 4.x 링크 이용 시 rel 속성 noopener, noreferrer, nofollow 자동으로 삽입하기 shadow2fox 2023.10.15 908 2
그누•영카트  댓글+1 그누보드(영카트) 5.5.8.3.4 (★ 5.5.8.3.3 버전 사용자님은 필독해 주세요) shadow2fox 2023.08.20 636 1
그누•영카트  그누보드(영카트) 5.5.8.3.3 shadow2fox 2023.08.20 910 2