[PHP] cURL 웹 스크래핑 시 403 error가 발생하여 수집할 수 없을 때
페이지 정보
shadow2fox
1,241 2 2
2023.10.15 02:33:32
짧은주소
-
https://yadolee.com/tip/1062 주소복사
본문
📝cURL 웹 스크래핑 시 403 error가 발생하여 데이터를 수집할 수 없을 때
얼마 전까지만 해도 문제 없이 작동했던 cURL 웹 스크래핑 함수가 403 error를 일으키며 원하는 데이터를 수집하지 못했다.
몇몇 공유 사이트에서 사용자 에이전트(user agent)를 수집하는 모양이다.
고로 cURL 웹 스크래핑 함수에 사용자 에이전트(user agent)를 정의해 알려주면 된다.
public function curl_web_scraping($url) {
//cURL 403 error 해결
$ua = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36';
$ch = curl_init();
curl_setopt($ch, CURLOPT_USERAGENT, $ua);
..
중략
..
$output = curl_exec($ch);
curl_close($ch);
return $output;
}
추천인 2
레벨 155
경험치 3,587,895
Progress Bar 15.91%
- 가입일 : 2015-03-10 12:21:44
- 서명 : 인간에게 가장 큰 선물은
자기 자신에게 기회를 주는 것이다.
- 크리스 가드너, Chris Gardner -
- 자기소개 : There's never a shortcut to happiness.
-
[생활 정보] [판매중] 차오차이 짜장&마파두부 180g*6개 골라담기 +짜장 1개 증정 (10,824원 / 무료)2026-02-25
-
[생활 정보] [판매중] 하늘보리 /옥수수수염차 /카무트현미차 /결명자차 외 차 7종 1.5L 12+12 골라담기 (21,670원 / 무료)2026-02-25
-
[좋은 생각] 삶은 내가 운전하는 버스 같은거임2026-02-23
-
[좋은 생각] 눈물 속에서는 갈 길을 못 본다2026-02-23
-
[좋은 생각] 창피함과 부끄러움2026-02-23
-
[좋은 생각] 인생의 의미2026-02-23
-
[좋은 생각] 우연이란2026-02-23
-
[좋은 생각] 계속해서 상처를 주는 사람들2026-02-22
-
[자유 게시판] 무려 20년이란 시간이 지났군요 추억 돋는 영상입니다{이모티콘:missbone-078}2026-02-21
-
[자유 게시판] 무엇보다 건강하시고 어제 보다 나은 오늘, 오늘 보다 나은 내일을 위해 그렇게 행복함이 넘쳐나시길 기원드립니다 새해 복 많이 받으세요2026-02-16
-
[생활 정보] 15원 추가 적립이 있네요 https://campaign2.naver.com/npay/v2/click-point/?eventId=cr_2026012802_2602_01772026-02-10
-
[생활 정보] 15원 줍줍 아직 수확 전이시면 체크해 보세요 https://campaign2.naver.com/npay/v2/click-point/?eventId=cr_2026012802_2602_01272026-02-07
-
[생활 정보] 가격이 착하다 싶더니 할인이 사라지고 일반가 30,900원으로 판매하네요2026-01-28
-
[일일 메모장] 안타까운 소식입니다. 민주 진영의 거목이였던 이해찬 전 대표님 정말 고생 많으셨습니다. 이제 편히 쉬십시오.2026-01-25
-
[자유 게시판] 올 한 해도 잘 부탁드립니다. 새해 복 많이 받으세요.2026-01-06
-
[일일 메모장] 무슨 말이 필요할까요 삼가 조의를 표하며 고인의 명복을 빕니다 영면하세요2026-01-05


댓글2
내사랑님의 댓글
하늘구장님의 댓글
축하합니다. 첫 댓글로 25경험치를 획득하였습니다.
축하합니다. 지뢰폭탄 제거로 26경험치를 획득하였습니다.