[PHP] cURL 웹 스크래핑 시 403 error가 발생하여 수집할 수 없을 때

페이지 정보

shadow2fox shadow2fox 900 2 2 2023.10.15 02:33:32

평점

  • 평점 : 5점 (2명 참여)

본문

📝 cURL 웹 스크래핑 시 403 error가 발생하여 데이터를 수집할 수 없을 때

얼마 전까지만 해도 문제 없이 작동했던 cURL 웹 스크래핑 함수가 403 error를 일으키며 원하는 데이터를 수집하지 못했다.
몇몇 공유 사이트에서 사용자 에이전트(user agent)를 수집하는 모양이다.
고로 cURL 웹 스크래핑 함수에 사용자 에이전트(user agent)를 정의해 알려주면 된다.


public function curl_web_scraping($url) {
    //cURL 403 error 해결
    $ua = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36';
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_USERAGENT, $ua);
    ..
    중략
    ..
    $output = curl_exec($ch);
    curl_close($ch);
    return $output;
}
추천인 2
  • 012i1052u
    내사랑
  • skyfield4u
    하늘구장
shadow2fox
10
shadow2fox - 회원등급 : 자연/Level 147 - 포인트 : 2,614,736
레벨 147
경험치 3,242,025

Progress Bar 51.54%

- 가입일 : 2015-03-10 12:21:44
- 서명 : 인간에게 가장 큰 선물은 자기 자신에게 기회를 주는 것이다. - 크리스 가드너, Chris Gardner -
- 자기소개 : There's never a shortcut to happiness.

댓글2

내사랑님의 댓글

012i1052u
내사랑 2023.10.19 20:00
하나둘씩 수정해가는 쾌적한 환경 좋아요~~

하늘구장님의 댓글

skyfield4u
하늘구장 2023.10.15 13:45
사운드 클라우드의 재생 정보를 가져오지 못했던 것 같은데 User-Agent를 추가하면 되겠네요 고맙습니다

축하합니다. 첫 댓글로 25경험치를 획득하였습니다.

축하합니다. 지뢰폭탄 제거로 26경험치를 획득하였습니다.

Total 762126 페이지

제목 글쓴이 날짜 조회 추천
그누•영카트  🔒 비추천 게시물 블라인드 루루아빠 2015.06.15 2 0
제로  🔒 [re] 진보된 추출법 루루아빠 2005.06.27 4 0
이윰  🔒 쇼핑몰 테마 메인 화면을 쇼핑몰로 바꾸기 루루아빠 2016.09.24 4 0
이윰  🔒 특정 페이지 혹은 게시판에서 사이드 메뉴를 사용치 않기 루루아빠 2015.05.23 5 0
기타  🔒 iplug 공동구매 카페주소 루루아빠 2007.03.01 8 0
그누•영카트  🔒 HTMLPurifier 7레벨 이상은 적용 안받기 루루아빠 2015.03.10 8 0
기타  댓글+1🔒 마우스 및 키보드 복사 금지 제어하기 루루아빠 2015.03.16 14 0
제로  댓글+1🔒 닉네임과 이름앞 아이콘을 회원들이 직접 업로드 할경우 탈퇴시 문제점의 해결책 루루아빠 2005.07.12 16 0
기타  🔒 링크 타겟 새로운 창으로 열때 가운데 정렬해서 원하는 사이즈로 열기 루루아빠 2005.06.25 17 0
제로  🔒 멀티게시판 코멘트 통합추출 팁 루루아빠 2005.06.27 17 0
제로  댓글+1🔒 여러 게시판의 최근글 통합해서 뽑아내기 루루아빠 2005.06.27 24 0
제로  댓글+1🔒 게시물 작성자가 현재 접속여부표시하기 루루아빠 2005.07.05 26 0
제로  댓글+1🔒 💾 멀티갤러리 통합추출 팁 루루아빠 2005.06.27 30 0
PHP  댓글+1📸 node.js를 윈도우 서버에 설치하고 peppeteer 라이브러리를 이용하여 og:image를 추출해 보자 shadow2fox 2025.06.13 101 2
그누•영카트  댓글+1 그누보드(영카트) 5.6.14 shadow2fox 2025.06.14 103 2
PHP  댓글+1 PHP에서 변수의 값이 날짜 형식이고 유효한 날짜 형식인지 검증해 보자 shadow2fox 2025.06.06 118 1
그누•영카트  댓글+2 그누보드(영카트) 5.6.13 shadow2fox 2025.05.15 179 2
그누•영카트  댓글+2 그누보드(영카트) 5.6.11 shadow2fox 2025.04.16 242 2
그누•영카트  댓글+2 그누보드(영카트) 5.6.12 shadow2fox 2025.04.16 244 2
그누•영카트  댓글+2 그누보드(영카트) 5.6.10 shadow2fox 2025.02.25 255 2
에디터  댓글+1 CKEditor 4.x 툴바에서 소스 글자 지우기 shadow2fox 2025.05.04 259 2
그누•영카트  댓글+2 그누보드(영카트) 5.6.9 shadow2fox 2025.01.22 324 2
그누•영카트  댓글+1 그누보드(영카트) 5.6.6 shadow2fox 2024.09.24 336 1
그누•영카트  댓글+1 그누보드(영카트) 5.6.5 shadow2fox 2024.09.05 360 1
그누•영카트  댓글+2 그누보드(영카트) 5.6.8 shadow2fox 2024.11.27 402 3
그누•영카트  댓글+2 그누보드(영카트) 5.6.7 shadow2fox 2024.11.01 483 2
그누•영카트  댓글+2 그누보드(영카트) 5.6.4 shadow2fox 2024.07.04 488 2
그누•영카트  댓글+2 그누보드(영카트) 5.5.16 shadow2fox 2024.04.18 510 2
그누•영카트  댓글+2📸 그누보드(영카트) 5.5.15 shadow2fox 2024.04.12 539 2
이윰  댓글+1 게시글 삭제 시 입력한 태그 삭제하기 shadow2fox 2024.05.11 541 2