[PHP] cURL 웹 스크래핑 시 403 error가 발생하여 수집할 수 없을 때
페이지 정보
shadow2fox
1,150 2 2
2023.10.15 02:33:32
짧은주소
-
https://yadolee.com/tip/1062 주소복사
본문
📝 cURL 웹 스크래핑 시 403 error가 발생하여 데이터를 수집할 수 없을 때
얼마 전까지만 해도 문제 없이 작동했던 cURL 웹 스크래핑 함수가 403 error를 일으키며 원하는 데이터를 수집하지 못했다.
몇몇 공유 사이트에서 사용자 에이전트(user agent)를 수집하는 모양이다.
고로 cURL 웹 스크래핑 함수에 사용자 에이전트(user agent)를 정의해 알려주면 된다.
public function curl_web_scraping($url) {
//cURL 403 error 해결
$ua = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36';
$ch = curl_init();
curl_setopt($ch, CURLOPT_USERAGENT, $ua);
..
중략
..
$output = curl_exec($ch);
curl_close($ch);
return $output;
}
추천인 2
레벨 149
경험치 3,344,951
Progress Bar 83.12%
- 가입일 : 2015-03-10 12:21:44
- 서명 : 인간에게 가장 큰 선물은
자기 자신에게 기회를 주는 것이다.
- 크리스 가드너, Chris Gardner -
- 자기소개 : There's never a shortcut to happiness.


댓글2
내사랑님의 댓글
하늘구장님의 댓글
축하합니다. 첫 댓글로 25경험치를 획득하였습니다.
축하합니다. 지뢰폭탄 제거로 26경험치를 획득하였습니다.