Fix/crawling vaild #82

GulSam00 · 2025-08-07T16:02:46Z

📌 PR 제목

Fix : 크롤링 방식 변경

📌 변경 사항

KY노래방 홈페이지에서 유효한 번호인지 확인하는 기능 추가 (crawlYoutubeVaild.ts)
유튜브 크롤링, 유튜브 크롤링된 코드 검증 작업 동시에 실행할 수 있도록 환경 구축
- 제목 비교 시 include가 아닌 앞글자 2자, 뒷글자 2자로 비교하도록 알고리즘 변경

💬 추가 참고 사항

…ASE_SERVICE_ROLE_KEY을 사용하고 있는 것을 발견. SUPABASE_ANON_KEY으로 교체

vercel · 2025-08-07T16:02:56Z

The latest updates on your projects. Learn more about Vercel for Git ↗︎

Name	Status	Preview	Comments	Updated (UTC)
singcode	✅ Ready (Inspect)	Visit Preview	💬 Add feedback	Aug 7, 2025 4:48pm

Copilot

Pull Request Overview

이 PR은 크롤링 방식을 변경하고 새로운 유효성 검증 기능을 추가하는 작업입니다. 주요 목적은 KY노래방 홈페이지에서 번호의 유효성을 확인하는 기능을 추가하고, 코드의 구조를 개선하는 것입니다.

KY노래방 홈페이지에서 번호 유효성 검증 기능 추가 (crawlYoutubeVaild.ts)
기존 크롤링 로직 개선 및 검증 작업 동시 실행 환경 구축
코드 품질 개선을 위한 함수명 오타 수정 및 모듈 구조 재정리

Reviewed Changes

Copilot reviewed 32 out of 38 changed files in this pull request and generated 7 comments.

Show a summary per file

File	Description
packages/open-api/src/instance.ts	함수명 오타 수정 (isVaild → isValid)
packages/open-api/src/getPopular.ts	함수명 수정 및 코드 스타일 통일
packages/crawling/src/crawlYoutubeValid.ts	KY 노래방 번호 유효성 검증 기능 신규 추가
packages/crawling/src/crawlYoutube.ts	기존 크롤링 로직에 유효성 검증 추가
packages/crawling/src/utils/	유틸리티 함수들을 별도 모듈로 분리 및 재구성
기타 파일들	코드 스타일 통일, 임포트 경로 정리, 설정 파일 추가

Copilot · 2025-08-07T16:44:42Z

packages/open-api/src/instance.ts

 import type { Brand, Period, ResponseType, InstanceResponse } from "./types";

-export const isVaildBrand = (brand: string): brand is Brand => {
+export const isValidBrand = (brand: string): brand is Brand => {


함수명 오타가 수정되었습니다. 'isVaild'에서 'isValid'로 올바르게 변경되었습니다.

Copilot · 2025-08-07T16:44:43Z

packages/crawling/src/crawlYoutubeValid.ts

+  if (
+    (titleResult.includes(parsedTitle.slice(0, 2)) ||
+      titleResult.includes(parsedTitle.slice(-2))) &&
+    (artistResult.includes(parsedArtist.slice(0, 2)) ||
+      artistResult.includes(parsedArtist.slice(-2)))
+  ) {


[nitpick] 조건문이 복잡합니다. 가독성을 위해 별도 함수로 분리하거나 변수에 할당하여 의미를 명확히 하는 것이 좋겠습니다.

Suggested change

if (

(titleResult.includes(parsedTitle.slice(0, 2)) ||

titleResult.includes(parsedTitle.slice(-2))) &&

(artistResult.includes(parsedArtist.slice(0, 2)) ||

artistResult.includes(parsedArtist.slice(-2)))

) {

const isTitleAndArtistSimilar =

(titleResult.includes(parsedTitle.slice(0, 2)) ||

titleResult.includes(parsedTitle.slice(-2))) &&

(artistResult.includes(parsedArtist.slice(0, 2)) ||

artistResult.includes(parsedArtist.slice(-2)));

if (isTitleAndArtistSimilar) {

Copilot · 2025-08-07T16:44:43Z

packages/crawling/src/crawlYoutube.ts

+  if (
+    (titleResult.includes(parsedTitle.slice(0, 2)) ||
+      titleResult.includes(parsedTitle.slice(-2))) &&
+    (artistResult.includes(parsedArtist.slice(0, 2)) ||
+      artistResult.includes(parsedArtist.slice(-2)))
+  ) {


동일한 복잡한 조건문이 반복됩니다. crawlYoutubeValid.ts와 동일한 로직이므로 공통 함수로 추출하여 중복을 제거하는 것이 좋겠습니다.

Suggested change

if (

(titleResult.includes(parsedTitle.slice(0, 2)) ||

titleResult.includes(parsedTitle.slice(-2))) &&

(artistResult.includes(parsedArtist.slice(0, 2)) ||

artistResult.includes(parsedArtist.slice(-2)))

) {

if (isTitleAndArtistMatch(parsedTitle, parsedArtist, titleResult, artistResult)) {

Copilot · 2025-08-07T16:44:43Z

packages/crawling/src/utils/parseNumber.ts

@@ -0,0 +1,11 @@
+export const parseNumber = (str: string) => {
+  if (!isNumber(str)) {


기존에 있던 길이 검증 로직(str.length < 5)이 제거되었습니다. 이 변경이 의도된 것인지 확인하고, 만약 길이 검증이 필요하다면 다시 추가하는 것이 좋겠습니다.

Suggested change

if (!isNumber(str)) {

if (!isNumber(str) || str.length >= 5) {

Copilot · 2025-08-07T16:44:44Z

packages/crawling/src/supabase/getDB.ts

-    .order("title", { ascending: true })
+    .from('songs')
+    .select('id, title, artist, num_tj, num_ky')
+    .is('num_ky', null) // num_ky가 null인 데이터만 가져옴


정렬 기준이 'title'에서 'created_at'으로 변경되었습니다. 이 변경이 의도된 것인지 확인하고, 만약 성능상 이유가 있다면 주석에 그 이유를 명시하는 것이 좋겠습니다.

Suggested change

.is('num_ky', null) // num_ky가 null인 데이터만 가져옴

.is('num_ky', null) // num_ky가 null인 데이터만 가져옴

// 'created_at' 기준으로 정렬하는 것은 최근에 추가된 곡을 우선적으로 확인하기 위함입니다. (의도된 변경)

Copilot · 2025-08-07T16:44:44Z

apps/web/src/lib/supabase/server.ts


  // return createServerClient(process.env.SUPABASE_URL!, process.env.SUPABASE_ANON_KEY!, {
-  return createServerClient(process.env.SUPABASE_URL!, process.env.SUPABASE_SERVICE_ROLE_KEY!, {
+  //  process.env.SUPABASE_SERVICE_ROLE_KEY?? 출처가 어디지?


SERVICE_ROLE_KEY에서 ANON_KEY로 변경되었습니다. SERVICE_ROLE_KEY는 서버 측에서 모든 권한을 가지는 키이므로, 이 변경이 보안상 의도된 것인지 확인이 필요합니다.

Copilot · 2025-08-07T16:44:44Z

packages/crawling/src/crawlYoutubeValid.ts

+const browser = await puppeteer.launch();
+const page = await browser.newPage();
+


브라우저 인스턴스가 모듈 레벨에서 초기화되고 있습니다. 이는 메모리 누수를 유발할 수 있으므로, 사용 후 browser.close()를 호출하는 로직을 추가하거나 함수 내부로 이동하는 것이 좋겠습니다.

Suggested change

const browser = await puppeteer.launch();

const page = await browser.newPage();

GulSam00 added 17 commits June 18, 2025 21:22

fix : 회원탈퇴 시 로딩 추가

ad50c3d

fix : DisquietBadge 주석 처리

c018a54

fix : getSongsKyNullDB order 변경. 크롤링 오류 발견

0b012b2

feat : KY 홈페이지 검증 크롤링 성공. 가사도 지원 확인

2f7ea7b

chore : gemini 테스트

69583e0

chore : gemini 세팅 ignore

889c5cb

feat : ky노래방 웹사이트 검증 크롤링 작업

a27a283

feat : KY 홈페이지 검증 작업 코드 작성. 검사 진행.

8b36080

fix : 로컬 환경에서 supabase 통신이 안되며 server.ts에서 SUPABASE_ANON_KEY 대신 SUPAB…

630896f

…ASE_SERVICE_ROLE_KEY을 사용하고 있는 것을 발견. SUPABASE_ANON_KEY으로 교체

fix : util 폴더 만들고 정리, prettier 세팅

5866c7c

chore : prettier 적용

55da0e8

fix : 파일 폴더에 정리. import url 정리

11ac721

chore : update valid songs

d5c37b2

fix : 크롤링 업데이트

7361f79

chore : 2025.7.25 크롤링

2389321

chore : batch 업데이트가 아닌 하나하나 업데이트로 변경. 2025.8.7 크롤링.

f6716dd

chore : 코파일럿 마크다운 문서 작성

6856335

GulSam00 requested a review from Copilot August 7, 2025 16:02

This comment was marked as outdated.

Sign in to view

fix : 오타 수정. vaild -> valid

0ab5125

GulSam00 requested a review from Copilot August 7, 2025 16:42

vercel bot deployed to Preview August 7, 2025 16:44 View deployment

Copilot AI reviewed Aug 7, 2025

View reviewed changes

chore : 리뷰 반영

74994f2

GulSam00 merged commit 6307567 into develop Aug 7, 2025
1 of 2 checks passed

vercel bot deployed to Preview August 7, 2025 16:48 View deployment

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Uh oh!

Fix/crawling vaild #82

Fix/crawling vaild #82

Uh oh!

GulSam00 commented Aug 7, 2025

Uh oh!

vercel bot commented Aug 7, 2025 •

edited

Loading

Uh oh!

This comment was marked as outdated.

Uh oh!

Copilot AI left a comment

Uh oh!

Copilot AI Aug 7, 2025

Uh oh!

Copilot AI Aug 7, 2025

Uh oh!

Copilot AI Aug 7, 2025

Uh oh!

Copilot AI Aug 7, 2025

Uh oh!

Copilot AI Aug 7, 2025

Uh oh!

Copilot AI Aug 7, 2025

Uh oh!

Copilot AI Aug 7, 2025

Uh oh!

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

2 participants

		@@ -0,0 +1,11 @@
		export const parseNumber = (str: string) => {
		if (!isNumber(str)) {

	if (!isNumber(str)) {
	if (!isNumber(str) \|\| str.length >= 5) {

	.is('num_ky', null) // num_ky가 null인 데이터만 가져옴
	.is('num_ky', null) // num_ky가 null인 데이터만 가져옴
	// 'created_at' 기준으로 정렬하는 것은 최근에 추가된 곡을 우선적으로 확인하기 위함입니다. (의도된 변경)

		const browser = await puppeteer.launch();
		const page = await browser.newPage();

Fix/crawling vaild #82

Fix/crawling vaild #82

Uh oh!

Conversation

GulSam00 commented Aug 7, 2025

📌 PR 제목

Fix : 크롤링 방식 변경

📌 변경 사항

💬 추가 참고 사항

Uh oh!

vercel bot commented Aug 7, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

This comment was marked as outdated.

Uh oh!

Copilot AI left a comment

Choose a reason for hiding this comment

Pull Request Overview

Reviewed Changes

Uh oh!

Copilot AI Aug 7, 2025

Choose a reason for hiding this comment

Uh oh!

Copilot AI Aug 7, 2025

Choose a reason for hiding this comment

Uh oh!

Copilot AI Aug 7, 2025

Choose a reason for hiding this comment

Uh oh!

Copilot AI Aug 7, 2025

Choose a reason for hiding this comment

Uh oh!

Copilot AI Aug 7, 2025

Choose a reason for hiding this comment

Uh oh!

Copilot AI Aug 7, 2025

Choose a reason for hiding this comment

Uh oh!

Copilot AI Aug 7, 2025

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

2 participants

vercel bot commented Aug 7, 2025 •

edited

Loading