전조등 전구 디렉터리 제작, AI agent에 맡긴 5일간의 데이터 수집

검색 수요는 크지만 제대로 된 전용 사이트가 없는 분야라면, 공개 데이터를 정리한 디렉터리 사이트 하나로 검색 유입을 노려 볼 수 있습니다. 자동차 전조등 전구 규격을 차종별로 찾아 주는 디렉터리를 Claude Code로 처음부터 만들어 게시한 사례는 이 작업에서 AI agent(사람 대신 여러 단계를 스스로 실행하는 AI)가 맡을 수 있는 일과 사람이 직접 정해야 하는 일을 꽤 분명하게 나눠 보여 줍니다. 핵심은 화면보다 데이터를 먼저 만들고, 검색 수요가 있는 곳부터 채우며, 얇은 페이지를 수만 개 찍어 내지 않는 것입니다.

이미 통하는 디렉터리를 옆 분야로 옮기기

출발점은 새로운 사이트 유형을 발명하는 대신, 이미 검색에서 자리 잡은 디렉터리의 구조를 가까운 분야로 옮기는 방식입니다. 미국 정부의 연비 데이터를 차종별로 정리한 사이트, 연식·제조사·모델을 고르면 와이퍼 길이를 알려 주는 사이트가 참고 대상이었습니다. 와이퍼 디렉터리는 Ahrefs(검색 키워드와 경쟁 사이트를 분석하는 SEO 도구) 기준으로 월 약 4,500명의 검색 방문자를 모으고 있었습니다.

다만 와이퍼는 $20~40 정도의 저가 소모품이고 자주 바꾸지 않아 제휴 수수료를 기대하기 어렵다고 판단했습니다. 그래서 같은 자동차 부품 가운데 전조등 전구로 눈을 돌렸습니다.

’H7 headlight bulb’처럼 전구 규격을 넣은 검색어 가운데 경쟁 난도가 0으로 표시된 것이 많았고, 모든 차종과 연식의 전구 규격을 정리한 디렉터리는 찾을 수 없었습니다. Google의 AI 요약이 검색 결과 위에서 와이퍼 규격 같은 답을 바로 보여 주기는 하지만, 브랜드 선택지와 구매 링크를 찾는 사용자는 여전히 디렉터리를 누른다고 판단했습니다.

데이터를 먼저, 그것도 무료 공개 데이터로

작업 원칙은 분명했습니다. 디렉터리 사이트는 화면 디자인이나 개발 서버보다 데이터베이스와 수집 흐름을 먼저 만듭니다. 정확한 데이터 자체가 이런 사이트의 핵심 자산이기 때문입니다.

Claude Code에는 미국 도로교통안전국(NHTSA)의 차량 정보 API와 환경보호청(EPA)의 연비 데이터 같은 공개 자료를 기준으로 삼으라고 지시했습니다. 그러자 Claude Code가 업계 단체의 유료 차량 구성 데이터베이스를 라이선스하거나 전구 제조사와 제휴하라고 제안했습니다. 이 제안은 받아들이지 않았고, 유료 구독·라이선스·제휴는 아예 고려하지 말라고 다시 지시했습니다. AI 도구가 무료로 해결할 수 있는 일에도 비싼 방법을 권하는 경우가 있으니, 비용 조건을 처음부터 못 박아 두는 편이 낫다고 볼 수 있습니다.

차량 목록은 정부 공개 데이터로, 차종별 전구 규격은 제조사의 공식 차량 설명서 PDF에서 읽어 오는 방식으로 정리했습니다. 미리 2011년식 Subaru Outback 설명서로 시험해 Claude Code가 전구 규격을 정확히 뽑아내는 것을 확인했습니다. 네 개의 공개 데이터베이스를 합친 결과 1990~2027년식 차량 조합 12,254개가 나왔고, 오토바이·버스·대형 트럭까지 넣은 원본 목록은 237,554개로 늘었습니다. 이 가운데 승용차·SUV·픽업·밴은 35,847개였습니다.

검색 수요가 있는 차부터 채우기

23만여 개를 모두 채운 뒤에 사이트를 여는 것은 비현실적입니다. 그래서 Ahrefs에서 검색량 상위 키워드 2,500개를 CSV 파일로 내려받아 프로젝트 폴더에 넣고, Claude Code에 제조사 묶음별 검색 비중을 분석해 수집 순서를 제안하게 했습니다. 키워드는 어떤 차가 데이터베이스에 들어갈지를 정하는 것이 아니라, 어떤 차의 정보를 먼저 채울지를 정하는 데만 썼습니다.

Claude Code는 같은 플랫폼과 전구 규격을 공유하는 형제 브랜드를 묶어 보자고 했습니다. 한 번 확인한 규격을 여러 차종에 다시 쓸 수 있기 때문입니다.

이 분석에 따라 Honda·Acura부터 수집을 시작했고, 출처는 제조사 공식 설명서 같은 1차 자료로만 제한했습니다.

▲ 검색 수요 순 데이터 수집

5일 동안 서버에서 돌린 수집 작업

수천 권의 설명서를 읽는 작업은 몇 시간이 아니라 며칠이 걸리므로 개인 노트북 대신 늘 켜 두는 클라우드 VPS(가상 사설 서버)에서 돌렸습니다. Claude Code가 설치된 Ubuntu 서버에 Cursor 편집기로 SSH 접속해 작업했습니다. 서버는 사용량 한도가 초기화될 때마다 작업을 이어 갔고, 5일 동안 사람이 방향을 바로잡은 지시는 5~7번에 그쳤습니다.

가장 큰 문제는 디스크였습니다. 내려받은 설명서 PDF를 통째로 저장하다 100GB 가운데 29GB가 찼고, 필요한 전구 정보와 설명서 주소만 뽑아 두도록 방식을 바꿔 해결했습니다.

승용 차량의 4분의 1 정도만 채웠지만, 빠진 차는 대부분 1990년 이전 차량, 희소한 고급 스포츠카, 상업용 개조차처럼 검색량이 거의 없는 차였습니다. 나머지는 게시한 뒤 조금씩 채울 계획입니다.

수만 쪽 대신 약 1,140쪽

데이터가 모이자 Claude Code에 전체 페이지 수와 구조를 물었습니다. 연식마다 페이지를 만들면 수만 개의 얇은 페이지가 생겨 검색 엔진이 색인하지 않거나 불이익을 줄 위험이 있습니다. Claude Code는 세 층 구조를 제안했습니다.

• 제조사·모델별 기둥 페이지: 약 970개. 여러 연식을 한 페이지에 모으고 연식별 바로가기를 둡니다
• 전구 규격별 허브 페이지: 약 50개
• 구매 가이드 페이지: 약 120개

모델 페이지와 규격 페이지가 같은 검색어를 두고 서로 경쟁하지 않는지도 물었는데, 하나는 차종 검색, 다른 하나는 규격 비교 검색을 노린다는 답을 받고 구조를 확정했습니다. 사이트는 로그인이나 결제가 필요 없는 콘텐츠 중심 사이트라 Next.js 대신 가벼운 Astro로 만들었고, Supabase 같은 별도 데이터베이스 서비스도 쓰지 않았습니다.

첫 화면을 보고 고친 것들

첫 결과물에는 확인되지 않은 연식에 ’설명서를 확인하라’는 안내만 떠 있었고, 상점 버튼은 특정 상품이 아니라 검색 결과로만 연결됐습니다. 두 번째 지시에서 확인되지 않은 연식을 선택 목록과 표에서 숨기고, 사이트 소개·문의 페이지를 만들고, 모바일 표 가독성을 높이고, 기본 교체용 전구에 ‘추천’ 표시를 붙이게 했습니다. Claude Code는 5분 안에 554개 모델 페이지에서 확인되지 않은 연식 2,577개를 숨겼습니다.

Claude Code는 Amazon, Walmart, AutoZone 같은 대형 상점이 자동 수집과 상품 이미지 무단 사용을 약관으로 금지한다는 점도 알려 줬습니다. 상품 정보를 긁어 오는 대신 Amazon Associates 같은 공식 제휴 프로그램의 API를 쓰라는 권고였습니다. 그래서 수익화는 검색 순위와 방문자를 확보한 뒤로 미루고, 우선 상점별 클릭을 세는 자체 추적 기능을 넣었습니다. 외부 추적 스크립트 없이 사이트 코드 안에서 상점 클릭, 차량 검색, 기기 종류를 기록하고, 비밀번호로 보호한 관리 페이지에서 7·30·90일 단위로 봅니다. 어느 상점의 클릭이 많은지 알아야 먼저 신청할 제휴 프로그램을 고를 수 있기 때문입니다.

▲ 기둥 페이지 중심 사이트 구조

게시 설정은 CLI로 agent에 맡기고, 비밀값은 사람이

코드는 비공개 GitHub 저장소에 올리고 Vercel에 연결했습니다. 도메인은 사람들이 실제로 검색하는 표현에 가까운 이름을 연 $11.25에 샀습니다. 게시 전에 Claude Code가 필요한 입력값 목록을 정리해 줬고, 사람이 Google Analytics 4 속성과 Google Search Console 확인 값을 만들어 넘겼습니다. 이메일 발송은 무료 요금제로 하루 100통, 한 달 3,000통을 보낼 수 있는 Resend를 썼습니다.

DNS 레코드를 대시보드에서 하나씩 입력하는 대신 Claude Code가 Vercel CLI(명령줄 도구)로 직접 처리하게 했습니다. 사람이 브라우저에서 기기 접근을 한 번 승인하자 Claude Code가 Search Console 확인용 TXT 레코드를 넣고, 기본 도메인과 www 도메인을 함께 연결해 www 주소를 기본 도메인으로 영구 이동(301)시켰습니다. 손으로 하면 순환 이동 오류가 나기 쉬운 설정입니다. 반면 Resend API 키는 사람이 직접 Vercel 환경 변수에 암호화된 값으로 넣었고, 앞뒤 공백이 섞이지 않았는지 확인했습니다. 문의 양식은 시험 메일로 확인하고, 사이트맵 색인 파일을 Search Console에 제출했습니다.

게시한 뒤에는 1~2주 기다리기

새 디렉터리는 1~2주 동안 그대로 두고 Search Console에서 ‘Honda CR-V 전조등 전구 규격’ 같은 목표 검색어에 노출이 생기는지 봅니다. 검색 엔진이 사이트의 의도를 이해했다는 신호가 보이면 그때 외부 링크를 모읍니다. 이미 같은 주제의 글을 쓴 블로그에 $50 정도를 제안하는 방식이 무료 요청보다 응답률이 높다고 봤습니다. 다만 도메인 평가가 0이고 방문자가 없는 사이트에는 돈을 쓰지 않는 편이 낫습니다. Ahrefs나 Semrush 구독이 부담스럽다면 Claude Code를 DataForSEO API에 연결해 방향을 가늠하는 정도로도 충분하다는 판단입니다.

정리: agent에 맡길 일과 사람이 정할 일

비슷한 디렉터리를 만들려면 다음 순서를 권합니다.

1. 이미 검색에서 통하는 디렉터리를 찾고, 가격대가 더 높은 옆 분야로 옮길 수 있는지 검색량부터 확인합니다
2. Claude Code에 무료 공개 데이터와 1차 자료만 쓰라고 처음부터 조건을 밝힙니다
3. 검색량 상위 키워드를 넘겨 수요가 있는 데이터부터 채우고, 표본 감사로 오류율을 확인합니다
4. 연식마다 페이지를 만들지 말고 기둥 페이지로 묶어 색인 가능한 규모로 게시합니다
5. 게시 뒤 1~2주는 색인과 노출을 지켜본 다음 링크 확보와 수익화를 시작합니다