ํฐ์คํ ๋ฆฌ ๋ทฐ
tistory : ์ ๋์ผ์ค ์ฌ์ดํธ๊ฐ ๋ค์ด๋์๊ฑฐ๋ ์ฌ์ฉํ ์ ์์
ํธํ๋ก์ด์ํ 2022. 10. 29. 22:05
์๋ ํ์ธ์!
์ค๋์ ๋ชจ๋ ํฐ์คํ ๋ฆฌ ๋ธ๋ก๊ฑฐ๋๋ค์ ๊ฟ์ด๋ผ๋ ์ ๋์ผ์ค ์น์ธ! ํ์ง๋ง ๋ง์ ์น์ธ ๊ฑฐ๋ถ๋ก ์ธํด ์ค๋๋ ์๋๋ค..
์ ๋ "์ฌ์ดํธ๊ฐ ๋ค์ด๋์๊ฑฐ๋ ์ฌ์ฉํ ์ ์์"์ด๋ผ๋ ๋ฉ์์ง๋ฅผ ๋ฐ๊ณ ์น์ธ ๊ฑฐ๋ถ๋ฅผ ๋นํ๋๋ฐ์..
๊ฒ์์ ํด๋ณด๋ ์ ํํ ๋ต์ด ๋ณ๋ก ์๋๊ฑฐ ๊ฐ์์ ์ด๋ ๊ฒ ์ ๋ ๊ฒ ๋ง์ด ์๋๋ฅผ ํด๋ดค๋ ๊ฑฐ ๊ฐ์์!
์ ์ ๊ฐ์ ๋ถ๋ค์ด ๋ถ๋ช ์์ ๊ฒ์ด๊ธฐ ๋๋ฌธ์ "์ฌ์ดํธ๊ฐ ๋ค์ด๋์๊ฑฐ๋ ์ฌ์ฉํ ์ ์์" ๋ฌธ๊ตฌ๊ฐ ๋์์ ์ ์ด๋ป๊ฒ ์ฒ๋ฆฌํ๋์ง ์์๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค.
์ ๋์ผ์ค ์ฌ์ดํธ๊ฐ ๋ค์ด๋์๊ฑฐ๋ ์ฌ์ฉํ ์ ์์
์ฒซ๋ฒ์งธ. URL ํ์ธํ๊ธฐ
- ์ ๋์ผ์ค ์ ์ฒญํ ๋ ์ ๋ ฅํ์๋ ์์ ์ ๋ธ๋ก๊ทธ url์ ๋ค์ ํ๋ฒ ํ์ธํฉ๋๋ค.
- ๊ตฌ๊ธ ๊ฒ์์ฐฝ์ ์์ ์ url ์ฃผ์ ์ ๋ ฅํ์์ ์ ์์ ์ ๋ธ๋ก๊ทธ๊ฐ ํ์ธ๋๋์ง ํ์ธํฉ๋๋ค.

์ ์ด๋ฏธ์ง์ ๊ฐ์ด ๊ฒ์์ด ๋์ด์ผ ํฉ๋๋ค!
๋ ๋ฒ์งธ. robot.txt ํ์ธํ๊ธฐ
1. ๋ค์ด๋ฒ ์น๋ง์คํฐ์ ๋ค์ด๊ฐ๊ธฐ(๋ค์ด๋ฒ ์์น ์ด๋๋ฐ์ด์ ๊ฒ์, ํด๋ฆญํ์ฌ ๋ค์ด๊ฐ๊ธฐ)
- ๋ค์ด๋ฒ ํ์์ด๋ฉด ๋ก๊ทธ์ธ ํ ๋ฐ๋ก ์ด์ฉ์ด ๊ฐ๋ฅํ๊ณ ์์ผ์๋ค๋ฉด ํ์๊ฐ์ ํ ์ด์ฉ ๊ฐ๋ฅํฉ๋๋ค.

- ๊ฐ๋จ ์ฒดํฌ๋ฅผ ๋๋ฅด๊ณ ๊ฒ์์ฐฝ์ ์์ ์ URL ์ฃผ์๋ฅผ ์ ๋ ฅํ ํ ๊ฒ์์ ๋๋ฆ ๋๋ค.
(๊ณ์ ๋น ์ผ๊ฐ 10ํ ์กฐํ ๊ฐ๋ฅํ๋ค๊ณ ํฉ๋๋ค)

- robots.txt ์ ์ฒดํฌ๊ฐ ๋ ธ๋์ ๋๋ํ๋ก ๋์ด์๊ณ ๋ค์ด๋ฒ ๋ก๋ด์ด ์กด์ฌํ์ง ์์ต๋๋ค ๋ผ๋ ๋ฌธ๊ตฌ๋ฅผ ํ์ธํ ์ ์์ต๋๋ค.
(์ด๋ก์ ์ฒดํฌ๊ฐ ๋์ด์๋ค๋ฉด ๋ค๋ฅธ ๋ฐฉ๋ฒ์ ์ฐพ์ผ์ ์ผ ํฉ๋๋ค.)
2. ์น ๋ง์คํฐ ๋๊ตฌ ์ฌ์ดํธ ๊ด๋ฆฌ๋ฅผ ํด๋ฆญํฉ๋๋ค.

- ์ฌ์ดํธ ๋ฑ๋ก์ ์ต๋ 100๊ฐ ์ฌ์ดํธ๋ฅผ ๋ฑ๋กํ ์ ์์ต๋๋ค.
3. ๋ค๋ชจ์ฐฝ์ ๋ณธ์ธ์ URL ์ฃผ์๋ฅผ ์ ๋ ฅํ๊ณ ๋ฐ์ค ์ค๋ฅธ์ชฝ ํ์ดํ๋ฅผ ํด๋ฆญํฉ๋๋ค.

- ์์๋ก ์ ๋ ฅํ ์ฃผ์์ ๋๋ค. ์์ ์ URL ์ฃผ์๋ก ์ ๋ ฅ์ ํ๋ฉด ์์ ๊ฐ์ ํ๋ฉด์ด ๋์ต๋๋ค. HTML ํ์ผ ์ ๋ก๋๋ฅผ
ํด๋ฆญํ์ฌ ์์ ํ์ธ์ ํด์ฃผ์ธ์.
(์์ ํ์ธ์ด ๋์ง ์๋๋ค๋ฉด HTML ํ๊ทธ๋ฅผ ํด๋ฆญํด์ ํ์ ๋ฐ์ค์ ์๋ ๋ฌธ์๋ฅผ ๋ณต์ฌํฉ๋๋ค.
4. ์์ ์ ํฐ์คํ ๋ฆฌ ๊ด๋ฆฌ์ ํ์ด์ง์์ ๊ด๋ฆฌ > ๊พธ๋ฏธ๊ธฐ > ์คํจ ํธ์ง > HTML ํธ์ง์ ํด๋ฆญํฉ๋๋ค.
- <head> ๋ฐ๋ก ๋ฐ ์นธ์ ๋ถ์ฌ ๋ฃ๊ณ ์ ์ฉ์ ๋๋ฆ ๋๋ค.
- ์น๋ง์คํฐ๋ก ๋์์์ HTML ํ๊ทธ์ ์์ ํ์ธ์ ๋๋ฆ ๋๋ค.
- ๋ค์ ๋ค์ด๋ฒ ์น๋ง์คํฐ ์ฌ์ดํธ ๊ด๋ฆฌ๋ก ๋ค์ด๊ฐ์ ์์ ์ URL ์ฃผ์๋ฅผ ํด๋ฆญํ์ฌ ๋ค์ด๊ฐ๋๋ค.
5. ์๋์ ๊ฐ์ ํ๋ฉด์ด ๋์ฌ ๊ฑฐ์์.

- ์์ฝ์์ ๊ฒ์ฆ์ ํด๋ฆญํ๋ฉด ์ฒ์์๋ ๋ก๋ด txt์ ๋ณด์ ์๋ฌด๊ฒ๋ ํ์ธ๋์ง ์์ ๊ฒ๋๋ค.
- ํ์ด์ง ๋ง์ง๋ง์ robots.txt ๊ฐ๋น ์์ฑ ๋ชฉ๋ก์์ ๋ค์ด๋ฒ ๊ฒ์๋ก๋ด > ๋ชจ๋ ๊ฒ์๋ก๋ด์ผ๋ก, ์์ง ํ์ฉํฉ๋๋ค๋ก ๋ฐ๊พธ๊ณ ๋ค์ด๋ก๋๋ฅผ ํฉ๋๋ค.
- ๋ค์ ํฐ์คํ ๋ฆฌ๋ก ๋์๊ฐ๋๋ค.
6. ํฐ์คํ ๋ฆฌ ํ์ผ ์ ๋ก๋์ ๋ค์ด๋ก๋ํ ํญ๋ชฉ ์ถ๊ฐํ๊ธฐ
- ์์ ์ ํฐ์คํ ๋ฆฌ์ HTML ํธ์ง์ ๋๋ฅด๊ณ ํ์ผ ์ ๋ก๋๋ฅผ ํด๋ฆญํฉ๋๋ค. ํ๋จ์ ์ถ๊ฐ ๋ฒํผ์ ๋๋ฅด๊ณ ๋ค์ด๋ก๋ํ ๊ฒ์ ์ถ๊ฐํ๊ณ ์ ์ฉ์ ๋๋ฌ์ฃผ์ธ์.

7 ์น๋ง์คํฐ๋ก ๋์์์ ์ฌ์ดํธ ๊ฐ๋จ ์ฒดํฌ๋ฅผ ๋ค์ ํด๋ณด๊ธฐ
- robots.txt ์์ ์ด๋ก์์ผ๋ก ์ฒดํฌ๋์๋์ง ํ์ธํ๊ธฐ!

- ์ ์ด๋ฏธ์ง์ฒ๋ผ robots.txt ์ ๋ณด๋ก ๋์๊ฐ๋ฉด ์๋ฌธ๋ค์ด ํ์ธ๋์ค ๊ฑฐ์์.
- ์์ง ์์ฒญ์ ํด๋ฆญํ๋ฉด ์์ง ๊ฐ๋ฅํ๋ค๊ณ ํ์ ์ด ํ์ธ๋ฉ๋๋ค.
8. ๋ค์ ์ ๋์ผ์ค ์ฌ์ ์ฒญํ๊ธฐ
์์๋๋ก ์ฝ๊ฒ ๋์ด์ ํด๋ณด์๋๋ฐ ์์๋ณด๊ธฐ ๊ด์ฐฎ์ผ์ ๊ฐ์? ๋ฐ๋ผ ํ์ ๋ค๊ณ ์๊ณ ๋ง์ผ์ จ์ต๋๋ค.
๋ชจ๋๋ค ์ ๋์ผ์ค ์น์ธ ๋๋ ๊ทธ๋ ๊น์ง ํ์ดํ !