Google Apps Script로 웹사이트 스크레이핑

Google Apps Script(GAS)에서 웹 스크레이핑을 할 때 「이 프로젝트를 실행하려면 사용 중인 Google 계정에 대한 액세스를 허용해야 합니다. 다시 시도해 허용해 주세요.」라는 경고가 나오는 경우가 있습니다. 그 대응 방법을 정리합니다.

1. 웹 스크레이핑용 코드를 기재

스크립트를 기술할 파일을 만듭니다. 「＋」 → 「스크립트」

웹 스크레이핑 코드는 여러 가지 작성 방법이 있지만, 이번에는 다음 코드로 www.google.com 사이트를 가져옵니다.

function myFunction() {
  response = UrlFetchApp.fetch("https://www.google.com/");
  Logger.log(response);
}

2. 실행 시의 액세스 권한 승인

코드를 저장하면 「승인이 필요합니다. 이 프로젝트가 귀하의 데이터에 대한 액세스 권한을 필요로 합니다.」라는 대화상자가 표시되므로 「권한 확인」 링크를 클릭

Google 로그인 창이 열리므로 사용할 계정을 클릭합니다

이 앱은 Google에서 확인되지 않았습니다. 앱이 Google 계정의 비공개 정보에 대한 액세스를 요구하고 있습니다. 개발자와 Google에 의해 확인될 때까지 이 앱을 사용하지 마세요.

라는 창이 표시되어 놀라지만, 여기서는 「고급」을 클릭하고, 표시되는 「○○프로젝트(안전하지 않은 페이지)로 이동」을 클릭합니다.

「Google 계정에 대한 액세스를 요청하고 있습니다」라는 창이 나옵니다. 웹 스크레이핑을 하려면 외부로의 액세스 허가가 필요하므로 「허용」 버튼을 클릭

스크립트를 다시 「실행」하면 대상 사이트의 데이터를 가져올 수 있음을 확인할 수 있었습니다.