11가지 최고의 무료 웹사이트 크롤러 도구(2025)

웹 크롤러는 WWW(World Wide Web)를 탐색하는 인터넷 봇입니다. 때로는 스파이더봇(spiderbot) 또는 스파이더(spider)라고도 불린다. 그것의 주요 목적은 웹 페이지를 색인화하는 것입니다.

웹 크롤러를 사용하면 SEO 순위 가시성과 전환율을 높일 수 있습니다. 깨진 링크, 중복된 콘텐츠, 누락된 페이지 제목을 찾아내고 SEO와 관련된 주요 문제를 인식할 수 있습니다. 모든 웹사이트 URL에서 데이터를 효과적으로 크롤링하도록 설계된 광범위한 웹 크롤러 도구가 있습니다. 이러한 앱은 웹사이트 구조를 개선하여 검색 엔진이 이해할 수 있도록 하고 순위를 높이는 데 도움이 됩니다.

80시간 이상 철저히 조사한 후, 저는 40개 이상의 최고의 무료 웹사이트 크롤러 도구를 탐색하고 무료 및 유료 도구를 모두 포함하는 13개의 최고 선택 목록을 큐레이션했습니다. 저의 신뢰할 수 있고 포괄적인 가이드는 신뢰할 수 있고 잘 조사된 정보를 제공합니다. 이 통찰력 있는 리뷰는 여러분이 최상의 결정을 내리는 데 도움이 될 수 있습니다. 전체 기사를 읽고 독점적인 세부 정보와 꼭 봐야 할 장단점을 알아보세요. 자세히보기 ...

최고의 웹 크롤러 소프트웨어 및 도구

성함	주요 특징	통합 및 API	무료 트라이얼	(링크)
Sitechecker.pro	• 유연한 크롤링 설정 • 전체 기술 SEO 감사	워드프레스, 쇼피파이, 줌라 등	14 일 무료 평가판	더 알아보기
2분 보고서	• 자동화된 마케팅 보고서 생성 • 사용자 정의 가능한 대시보드 및 템플릿	페이스북 광고, 구글 광고, 쇼피파이, YouTube 분석 등	14 일 무료 평가판	더 알아보기
Apify	• 스크래핑 방지 조치 • 고급 크롤링 기능	자피어, 텔레그램, Slack, Asana, 만드다 등.	평생 무료 기본 플랜	더 알아보기
Semrush	• 온페이지 SEO 검사기 • 트래픽 분석	Google 시트, WordPress, HubSpot 등	7 일 무료 평가판	더 알아보기
Hexometer	• SEO 모니터링 및 최적화 • 주문형 페이지 감사	Slack, Zapier, Pabbly Connect 등	평생 무료 기본 플랜	더 알아보기

1) Sitechecker.pro

Sitechecker.pro 웹사이트 SEO를 체크하기 위해 제가 접한 가장 좋은 도구 중 하나입니다. 특히 SEO 성과를 개선하는 데 도움이 되는 방식이 마음에 들었습니다. 온페이지 SEO 감사 보고서를 생성하여 고객과 쉽게 공유할 수 있습니다. 제 생각에는 SEO를 개선하려는 모든 사람에게 좋은 옵션입니다.

특징:

• 링크 스캐닝: 이 웹 크롤러는 웹사이트의 내부 및 외부 링크를 모두 스캔하여 깨진 링크를 식별합니다.
• 웹사이트 속도 측정: 이는 웹사이트 속도를 모니터링하는 데 도움이 되며, 로딩 시간을 개선하는 좋은 방법입니다.
• 구조 시각화: 웹페이지의 구조를 시각화하는 것이 간소화되어 중요한 사이트 요소를 쉽게 구성할 수 있습니다. 랜딩 페이지를 더 잘 구성할 수 있었습니다.
• 랜딩 페이지 인덱싱: 랜딩 페이지의 인덱싱 문제를 식별하고 해결하면 SEO 페널티를 피하는 데 도움이 됩니다.
• 사이버 공격 방지: 이 도구를 사용하면 취약점을 해결하여 잠재적인 해커 공격으로부터 웹사이트를 보호할 수 있습니다.

👉 얻는 방법 Sitechecker.pro 무료로?

• We Buy Orders 신청서를 클릭하세요. Sitechecker.pro
• "시작하기" 버튼을 선택하여 계정을 만들고 14일 무료 체험판을 시작하세요. 신용 카드는 필요하지 않습니다.

방문 Sitechecker.pro

14일 무료 평가판(신용카드 불필요)

---

2) 2분 보고서

2분 보고서 강력한 웹사이트 보고 및 크롤링 도구입니다. 기능을 검토해 보니 Google Search Console 및 PageSpeed ​​Insights와 같은 필수 데이터 소스와 쉽게 연결되어 크롤링, SEO 및 성능 데이터를 가져올 수 있다는 것을 확인했습니다. 보고서 생성을 자동화하고 웹사이트 상태를 동적으로 추적하는 데 도움이 되었습니다. 스마트하고 자동화된 웹 크롤링 및 보고를 위한 신뢰할 수 있는 도구를 찾는 모든 분께 추천합니다.

특징:

• SEO 및 웹 데이터 소스에 연결: Two Minute Reports는 Google Search Console, Google Analytics 등의 플랫폼에 원활하게 연결되어 크롤링 및 사이트 성능 데이터를 쉽게 수집할 수 있습니다.
• 자동화된 데이터 수집: 수동으로 확인하는 대신, 설정한 일정에 따라 크롤링 및 SEO 보고서를 자동으로 새로 고쳐서 많은 시간을 절약할 수 있습니다.
• 드래그 앤 드롭 보고서 작성기: 코딩 지식 없이도 사용자 정의 크롤러 보고서를 시각적으로 작성할 수 있으므로 모든 사람이 보고서에 접근할 수 있습니다.
• 다중 플랫폼 성과 추적: 크롤러 데이터를 SEO, 광고, 웹 트래픽 측정항목과 통합 대시보드로 끌어와 결합합니다.
• 실시간 대시보드: 최신 크롤링 문제와 웹사이트 통찰력을 자동으로 반영하는 라이브 업데이트 대시보드를 설정합니다.
• AI 기반 통찰력: 심층적인 수동 분석이 필요 없이 추세, 크롤링 오류 및 최적화 기회를 강조합니다.
• 원활한 내보내기: 크롤링 및 감사 데이터를 Google 시트나 Looker Studio로 즉시 전송하여 더욱 심층적인 사용자 정의가 가능합니다.
• 원클릭 스케줄링 및 복제: 새로운 프로젝트에 대한 보고서를 쉽게 복제하고, 클라이언트나 팀원에게 자동으로 전달할 수 있습니다.

👉 2분 보고서를 무료로 받는 방법?

• We Buy Orders 신청서를 클릭하세요. 2분 보고서
• "무료 체험"을 클릭하면 모든 기능을 무료로 사용해 볼 수 있습니다.

Two Minute Reports 방문

14 일 무료 평가판

---

3) Apify

Apify 웹사이트에서 콘텐츠를 추출하는 강력하고 다재다능한 방법을 제공합니다. 강력한 크롤링 기능으로 소규모 및 대규모 웹 스크래핑 작업에 모두 적합하다는 것을 알게 되었습니다. 이 도구는 웹사이트에서 데이터를 효율적으로 추출하고 처리하려는 모든 사람, 특히 동적 콘텐츠 처리가 필요한 사람에게 적합합니다.

특징:

• 동적 웹사이트 크롤링: 이 도구는 정적 및 정적 데이터 모두에서 데이터를 크롤링하고 추출하는 데 탁월합니다. Java스크립트로 렌더링된 웹사이트를 통해 어떤 콘텐츠도 놓치지 않습니다.
• 확장성: 작은 작업부터 수백만 페이지가 있는 웹사이트 처리까지 쉽게 확장 가능 Apify클라우드 기반 플랫폼입니다.
• Java스크립트 렌더링: 다음과 같은 헤드리스 브라우저를 활용합니다. Firefox 동적 웹사이트를 효과적으로 처리합니다.
• 사용자 정의 가능한 콘텐츠 출력: 일반 텍스트, 마크다운, HTML 등 여러 가지 내보내기 옵션을 제공하여 다양한 요구 사항을 충족합니다.
• 콘텐츠 정리 옵션: 이 도구는 광고, 쿠키 배너 및 기타 불필요한 요소를 자동으로 제거하여 정리되고 집중된 데이터를 제공합니다.

👉 얻는 방법 Apify 무료로?

• We Buy Orders 신청서를 클릭하세요. Apify 웹사이트 콘텐츠 크롤러.
• 초기 비용 없이 기능을 탐색하려면 "무료 평가판 시작"을 클릭하세요.

방문 Apify >>

평생 무료 기본 플랜

---

4) Semrush

Semrush 최고 수준의 웹사이트 크롤러 도구입니다. 저는 이 도구가 페이지와 웹사이트 구조를 분석하는 능력을 테스트했습니다. 이 도구는 기술적인 SEO 문제를 빠르게 찾아내어 검색 순위를 개선하는 데 도움이 되었습니다. 사실, 이 도구는 또한 다음과 같은 훌륭한 옵션을 제공합니다. SEO, 시장 조사, 소셜 미디어 관리.

특징:

• 포괄적 인 테스트 : 이 기능은 웹사이트 전반에서 메타데이터, HTTP/HTTPS, 지시문, 상태 코드, 중복 콘텐츠 등을 테스트합니다.
• 사용자 친화적인 인터페이스: 직관적이고 사용자 친화적인 인터페이스로 설계되어 누구나 쉽게 웹사이트 분석을 할 수 있습니다.
• 로그 파일 분석: 이 도구를 사용하면 로그 파일을 분석하여 웹사이트를 효율적으로 감사하는 데 도움이 됩니다. 저는 특히 번거로움 없이 웹사이트를 감사하는 데 도움이 되었다고 생각합니다.
• 웹사이트 감사: 이 기능을 사용하면 전체 프로세스에서 불필요한 복잡성을 피하면서 손쉽게 웹사이트를 감사할 수 있습니다.
• 대시보드 인사이트: 이 애플리케이션의 대시보드를 사용하면 웹사이트 문제를 빠르게 보고 해결하여 워크플로를 개선할 수 있습니다.

👉 얻는 방법 Semrush 무료로?

• We Buy Orders 신청서를 클릭하세요. Semrush
• "무료 평가판 시작" 버튼을 클릭하여 등록하고 7일 평가판을 즐겨보세요. 결제 정보는 필요하지 않습니다.

방문 Semrush >>

7 일 무료 평가판

---

5) Hexometer

Hexometer 웹사이트 성능을 효과적으로 모니터링할 수 있습니다. 팀과 문제를 공유하는 방법을 확인했는데, 매우 유용했습니다. 또한 모니터링 작업을 놀라울 정도로 쉽게 만드는 직관적인 대시보드도 제공합니다.

특징:

• 웹사이트 보안 분석: 이 도구는 잠재적인 보안 문제를 분석하고 식별하여 웹사이트를 쉽게 보호할 수 있도록 도와줍니다.
• 화이트 라벨을 사용한 SEO: 이 기능을 사용하면 화이트 라벨 SEO가 가능하여 SEO 서비스의 브랜드를 새롭게 하여 자체 서비스처럼 제공할 수 있는 훌륭한 옵션을 제공합니다.
• 검색 엔진 순위: Hexometer SERP에 최적화하여 웹사이트가 검색 결과에서 더 나은 순위를 달성하도록 돕습니다. 이 기능은 내 사이트 순위를 크게 개선하는 데 도움이 되었습니다.
• 도구와 통합: 이 애플리케이션은 Telegram과 같은 인기 플랫폼과 통합됩니다. Slack, Gmail을 사용하면 작업을 간소화하는 데 도움이 됩니다.
• 웹사이트 업데이트 추적: 웹사이트의 변경 사항을 쉽게 추적하여 업데이트가 적절하게 모니터링되고 기록되는지 확인할 수 있습니다.

👉 얻는 방법 Hexometer 무료로?

• We Buy Orders 신청서를 클릭하세요. Hexometer
• "몇 분 안에 시작하세요"를 클릭하여 빠르게 가입하고 즉시 무료 계정을 만드세요.

방문 Hexometer >>

평생 무료 기본 플랜

---

6) Link-Assistant

Link-Assistant 는 놀라운 웹사이트 크롤러 도구입니다. 제가 조사하는 동안, 저는 강력한 웹사이트 분석 및 최적화 기능을 발견했습니다. 제 생각에, 이것은 웹사이트 성능을 개선하는 좋은 방법입니다. 가장 많이 방문한 페이지를 쉽게 추적하는 데 도움이 되었습니다. 최고 수준의 웹사이트 크롤러 도구를 찾는 모든 사람에게 추천합니다.

특징:

• 최적화 보고서: 이 도구는 사이트 최적화 보고서를 제공하며, 이는 회사의 생산성과 성과를 높이는 완벽한 방법입니다.
• 사용자 정의 가능한 설정: 이 도구를 쉽게 사용자 정의하여 요구 사항에 맞게 조정하고 최상의 출력을 보장할 수 있습니다. 필요에 따라 설정을 조정할 수 있어서 좋았습니다.
• 사이트 구성: 이 기능을 사용하면 매끄러운 사이트 설정 구성이 가능하여 어떤 언어로든 웹사이트를 최적화하여 더 나은 결과를 얻을 수 있습니다.
• SEO 친화적 설정: 이 도구는 귀하의 웹사이트를 SEO 친화적으로 만들어 검색 엔진 순위를 개선하는 데 필수적입니다.

👉 얻는 방법 Link-Assistant 무료로?

• We Buy Orders 신청서를 클릭하세요. Link-Assistant
• "무료로 다운로드"를 클릭하여 등록하고 즉시 무료로 다운로드하세요.

링크 : https://www.link-assistant.com/

---

7) Screaming Frog

Screaming Frog 최고의 웹사이트 크롤링 기능 중 하나를 제공합니다. 기술적 및 온사이트 SEO를 모두 감사하는 기능을 분석했습니다. 또한 최대 500개의 URL을 무료로 크롤링할 수 있습니다. 중복 콘텐츠를 찾는 데 도움이 되어 SEO 전략을 개선하는 데 좋은 옵션이라는 것을 발견했습니다.

특징:

• 끊어진 링크 감지: 이 솔루션은 깨진 링크와 서버 오류를 즉시 찾아내어 건강한 웹사이트 구조를 유지하기 위한 솔루션을 제공합니다.
• SEO 요소 분석: 이 도구는 페이지 제목과 메타데이터를 분석하는 데 도움이 되며, 이는 온페이지 SEO 전략을 최적화하는 데 유용합니다.
• 웹 데이터 수집 및 사이트맵: XPath로 웹 데이터를 수집하고 XML 사이트맵을 생성하여 사이트 URL을 효율적으로 정리하는 데 도움이 됩니다. 사이트 URL 구조를 매우 간단하게 관리할 수 있게 되었습니다.
• 통합 : 이 도구는 Google Analytics, GSC, PSI와 통합되어 사이트 성능과 속도 측정 항목을 손쉽게 추적하는 데 도움이 됩니다.

👉 얻는 방법 Screaming Frog 무료로?

• We Buy Orders 신청서를 클릭하세요. Screaming Frog
• "다운로드"를 클릭하면 즉시 무료로 다운로드할 수 있습니다.

링크 : https://www.screamingfrog.co.uk/seo-spider/

---

8) Lumar

Lumar 는 놀라운 웹사이트 크롤러입니다. 평가를 진행하면서 기술적 문제를 식별하고 해결하는 데 얼마나 도움이 되는지 알게 되었습니다. 다중 도메인 모니터링을 제공했기 때문에 여러 웹사이트를 관리하는 사람들에게 매우 유용했습니다. SEO 성과를 향상시킨다고 자신 있게 말할 수 있습니다.

특징:

• 맞춤형 대시보드: 이 웹 크롤러 도구는 맞춤형 대시보드를 제공하여 웹사이트 성능 지표를 쉽게 모니터링하고 추적할 수 있습니다.
• 웹 페이지 검색: 이 도구는 웹 페이지를 색인하고 검색하는 데 도움이 되며, 사이트의 SEO와 가시성을 향상시키는 데 도움이 됩니다.
• 속도 최적화: Lumar 웹사이트 속도를 높여 일반적으로 전반적인 성능과 사용자 만족도를 개선합니다. 이 기능을 사용한 후 사이트 로딩 시간이 확실히 개선된 것을 확인했습니다.
• 성과 데이터 보기: 이 앱은 순위, 트래픽, 요약 데이터를 제공하여 웹사이트 성과를 개선하는 데 귀중한 통찰력을 제공합니다.

👉 얻는 방법 Lumar 무료로?

• We Buy Orders 신청서를 클릭하세요. Lumar
• 시작하기를 클릭하세요. Lumar” 개인화된 데모를 받으려면 Lumar 귀하의 요구 사항에 맞는 맞춤형 플랫폼.

링크 : https://www.lumar.io/

---

9) Visual SEO Studio

Visual SEO Studio 는 놀라운 웹 크롤링 도구입니다. 제 평가 전반에 걸쳐 검색 엔진 크롤을 모방하여 빠른 SEO 검사가 가능하다는 것을 발견했습니다. 제 생각에는 사이트를 크롤링하고 검사할 효율적인 방법이 필요한 웹사이트 소유자에게 최고의 옵션입니다.

특징:

• 백링크 프로필 감사: 이 도구는 백링크 프로필을 감사하는 데 도움이 되며, 이는 웹사이트의 SEO 전략을 개선하는 데 좋습니다. 저는 이 기능이 제 사이트의 링크 품질을 분석하는 데 유용하다는 것을 알았습니다.
• AJAX 웹사이트 크롤링: 이 웹 크롤러 프리웨어는 AJAX를 사용하는 웹사이트도 크롤링하여 동적 페이지에서 데이터를 수집하는 데 도움이 됩니다.
• XML 사이트맵 감사: Visual SEO Studio 감사 XML 웹 콘텐츠별 사이트맵을 통해 일반적으로 웹사이트 URL이 적절하게 색인화되도록 보장합니다.
• API 통합 : 이 도구는 검색 엔진과 타사 API와 통합되어 다양한 데이터에 쉽게 접근할 수 있습니다.

👉 얻는 방법 Visual SEO Studio 무료로?

• We Buy Orders 신청서를 클릭하세요. Visual SEO Studio
• 무료로 즉시 다운로드하려면 "다운로드"를 클릭하세요.

링크 : https://visual-seo.com/SEO-Software-Features

---

10) 80legs

80legs 웹 크롤링을 실행하기 위한 최고 수준의 플랫폼을 제공합니다. 여러 서버가 다른 IP 주소에서 사이트에 액세스하는 데 도움이 되었고, 사용자 지정 템플릿을 쉽게 빌드할 수 있는 방법을 제공했습니다. 고급 크롤링 옵션이 필요한 사용자에게 도움이 될 수 있습니다.

특징:

• 사용자 정의 크롤링: URL만 입력하면 웹사이트를 크롤링할 수 있어 사용자 정의 웹 크롤링을 설계하고 실행하는 데 도움이 됩니다.
• 추세 모니터링: 이 도구를 사용하면 온라인 추세를 모니터링하여 변화와 패턴을 분석하는 데 도움이 될 수 있습니다.
• 자동 속도 제어: 이 기능은 일반적으로 중단이나 속도 저하를 방지하기 위해 웹사이트 트래픽에 따라 크롤링 속도를 자동으로 제어합니다.
• 다운로드 결과: 80legs 크롤링 결과를 컴퓨터에 다운로드할 수 있어 오프라인 분석을 위한 쉬운 솔루션을 제공합니다. 결과를 얼마나 빨리 저장하고 분석할 수 있는지에 감사했습니다.

👉 얻는 방법 80legs 무료로?

• We Buy Orders 신청서를 클릭하세요. 80legs
• "가입 또는 로그인"을 클릭하여 무료 계정을 만들거나 기존 계정에 즉시 액세스하세요.

링크 : http://80legs.com/products/custom-web-crawling/

---

11) Dyno Mapper

DYNO Mapper는 웹사이트 분석을 위한 놀라운 도구입니다. 저는 그 기능을 살펴보았고, 웹사이트의 계층 구조를 명확하게 보여주는 시각적 지도를 만들 수 있었습니다. 사이트 매핑에 대한 대화형 시각적 솔루션을 원하는 모든 사람에게 좋습니다.

특징:

• 장치 추적: 이 도구는 태블릿, 모바일 기기, 데스크톱에서 웹사이트를 추적하여 일반적으로 사이트 성능을 분석하는 가장 좋은 방법을 제공합니다.
• 개인 페이지에 접근: Dyno Mapper 암호로 보호된 페이지를 크롤링할 수 있으며, 제한된 콘텐츠에 접근하고 모니터링할 수 있는 좋은 방법입니다.
• 약점 식별: 이 소프트웨어는 웹사이트나 앱의 취약점을 파악하고 분석하는 데 도움이 되며, 이는 전반적인 성능을 개선하는 데 도움이 될 수 있습니다.
• 키워드 순위 추적: 로컬 및 국제 키워드 순위를 추적하여 SEO 전략을 개선하는 데 훌륭한 솔루션을 제공할 수 있습니다. 키워드 순위를 높이는 데 유용하다는 것을 알았습니다.
• SEO 친화적 개발: 개발자는 이 도구를 사용하여 검색 엔진 친화적인 웹사이트를 만들어 온라인 가시성을 효과적으로 높이는 데 도움이 됩니다.

👉 얻는 방법 Dyno Mapper 무료로?

• We Buy Orders 신청서를 클릭하세요. Dyno Mapper
• "무료 체험"을 클릭하여 가입하고 14일 무료 체험을 시작하세요. 결제는 필요하지 않습니다.

링크 : https://dynomapper.com/

어떻게 최고의 웹사이트 크롤러 도구를 선택했나요?

At Guru99, 우리는 엄격한 콘텐츠 생성 및 검토 프로세스를 통해 정확하고 관련성 있고 객관적인 정보를 제공하기 위해 최선을 다하고 있습니다. 80시간 이상의 조사와 40개 이상의 최고의 무료 웹사이트 크롤러 도구, 무료 및 유료 옵션을 모두 포함하는 13가지 최고의 선택 목록을 큐레이션했습니다. 이 잘 조사된 가이드는 최상의 결정을 내리는 데 도움이 되는 신뢰할 수 있는 통찰력을 제공합니다. 웹사이트 크롤러 도구를 선택할 때 성능, 사용성, 속도, 정확성 및 기능에 중점을 둡니다. 이러한 요소는 웹사이트의 크롤링 기능을 최적화하고 모든 수준의 사용자가 도구를 효율적이고 쉽게 사용할 수 있도록 하는 데 필수적입니다.

• 효율성 : 가장 효율적인 도구는 웹사이트를 빠르고 정확하게 크롤링하는 것을 목표로 합니다.
• 확장성: 요구 사항이 증가함에 따라 확장할 수 있는 도구를 고려하는 것이 중요합니다.
• 기능 세트: 가장 뛰어난 도구 중 하나는 데이터 추출 및 사용자 정의와 같은 강력한 기능을 제공합니다.
• 사용자 인터페이스 : 사용하기 쉬운 인터페이스 덕분에 초보자와 전문가 모두 원활하게 탐색할 수 있습니다.
• Robots.txt 및 사이트맵 감지: 최적의 크롤링 효율성을 보장하려면 robots.txt 파일과 사이트맵을 손쉽게 감지해야 합니다.
• 끊어진 링크 및 페이지 감지: 웹 크롤러는 깨진 페이지와 링크를 빠르게 찾아 시간을 절약하고 사이트 성능을 향상시켜야 합니다.
• 리디렉션 및 프로토콜 문제: 더 나은 웹사이트 최적화를 위해 리디렉션 문제와 HTTP/HTTPS 불일치를 식별해야 합니다.
• 장치 호환성 : 웹 크롤러는 다양한 환경에서 다양성과 유연성을 갖추기 위해 여러 장치를 지원해야 합니다.

자주 묻는 질문

평결

시간이 지나면서 여러 웹 크롤링 도구를 검토한 사람으로서, 저는 최고의 웹사이트 크롤러 도구가 SEO 순위와 전반적인 사이트 성능을 개선하는 데 필수적이라고 믿습니다. 이러한 도구는 끊어진 링크를 식별하고, 웹사이트 구조를 최적화하고, 검색 가시성을 개선하는 데 도움이 됩니다. 더 많은 통찰력을 얻으려면 제 평결을 확인하세요.

• Sitechecker.pro 포괄적인 크롤링 기능과 사용자 정의 가능한 보고서를 갖춘 강력한 SEO 감사 도구를 찾는 사람에게 최고의 선택입니다.
• 2분 보고서 강력한 웹사이트 보고 및 크롤링 도구입니다. Google Search Console 및 PageSpeed ​​Insights와 같은 필수 데이터 소스에 쉽게 연결할 수 있습니다.
• Apify 하나 이상의 웹사이트를 심층 크롤링하고 웹 페이지에서 텍스트 콘텐츠를 추출할 수 있는 Actor입니다.