[PHP] cURL 웹 스크래핑 시 403 error가 발생하여 수집할 수 없을 때
페이지 정보
shadow2fox
280 2 2
2023.10.15 02:33
짧은주소
-
https://yadolee.com/tip/1062 주소복사
평점
본문
📝 cURL 웹 스크래핑 시 403 error가 발생하여 데이터를 수집할 수 없을 때
얼마 전까지만 해도 문제 없이 작동했던 cURL 웹 스크래핑 함수가 403 error를 일으키며 원하는 데이터를 수집하지 못했다.
몇몇 공유 사이트에서 사용자 에이전트(user agent)를 수집하는 모양이다.
고로 cURL 웹 스크래핑 함수에 사용자 에이전트(user agent)를 정의해 알려주면 된다.
public function curl_web_scraping($url) {
//cURL 403 error 해결
$ua = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36';
$ch = curl_init();
curl_setopt($ch, CURLOPT_USERAGENT, $ua);
..
중략
..
$output = curl_exec($ch);
curl_close($ch);
return $output;
}
추천인 2
레벨 142
경험치 3,038,935
Progress Bar 84%
- 가입일 : 2015-03-10 12:21:44
- 서명 : 인간에게 가장 큰 선물은
자기 자신에게 기회를 주는 것이다.
- 크리스 가드너, Chris Gardner -
- 자기소개 : There's never a shortcut to happiness.
-
[공유 자료실] ThisIsMyFile 4.24 - 잠금 파일 해제 및 삭제 프로그램2024-05-08
-
[공유 자료실] VirtualBox 7.0.18 (released May 07 2024)2024-05-08
-
[공유 자료실] NewFileTime 7.21 - 파일, 폴더 타임스탬프 수정 프로그램2024-05-08
-
[좋은 생각] 상처2024-05-06
-
[좋은 생각] 거짓은 늘 저절로 드러나 버린다2024-05-05
-
[좋은 생각] 하루가 끝날 때는 꼭 의미를 따져보아라2024-05-05
-
[좋은 생각] 사랑은 상처를 허락하는 것이다2024-05-05
-
[좋은 생각] 우리의 연민은 정오의 그림자처럼 짧고 우리의 수치심은 자정의 그림자처럼 길다2024-05-05
-
[생활 정보] 100원이 넘는 적립 금액은 최초이지 않나 싶네요 고생하셨습니다{이모티콘}2024-04-23
-
[자유 게시판] 부활 곡에 잘 어울릴 듯 한 보이스 컬러네요 동감입니다2024-03-31
-
[생활 정보] 80원의 행복이네요{이모티콘}2024-03-21
-
[자유 게시판] 같은 의견이에요2024-03-14
-
[자유 게시판] 다시 봐도 감동입니다{이모티콘}2024-03-11
-
[자유 게시판] 제가 라이브 시청을 하지 않아야 대활약을 해서 손흥민 선수를 위해 안타깝지만 자제 중입니다{이모티콘} 반더벤 또한 너무 잘하지 않았나 싶었네요2024-03-03
-
[자유 게시판] 하늘구장님 늘 감사드리며 마음을 담아 새해 인사를 전합니다 새해 복 많이 받으세요2024-02-09
-
[이슈와 관심] 최소 누군가는 가학 대통령으로 기억할 것 같습니다2024-01-29
댓글2
내사랑님의 댓글
하나둘씩 수정해가는 쾌적한 환경 좋아요~~
하늘구장님의 댓글
사운드 클라우드의 재생 정보를 가져오지 못했던 것 같은데 User-Agent를 추가하면 되겠네요 고맙습니다
축하합니다. 첫 댓글로 25경험치를 획득하였습니다.
축하합니다. 지뢰폭탄 제거로 26경험치를 획득하였습니다.