โ๏ธ ๋ถ๋ถ๋ ๊ณต์ ์ผ์ (๊ธฐ๋
์ผ, ๋ถ๋ถ ๋๋ฐ ์ฝ์)์ ๋ํ ๋ฆฌ๋ง์ธ๋ ์๋ฆผ์ ๋ฐ๋๋ค.
โ๏ธ ๊ณต์ ์ผ์ ์ ๋ํด ์ถ์ต์ ์์ฑํ ์ ์์ผ๋ฉฐ, ๋น
๋ฐ์ดํฐ ๊ธฐ์ ์ ํ์ฉํ์ฌ ์ฅ์๋ฅผ ์ถ์ฒ๋ฐ์ ์ ์๋ค.
โ๏ธ ๋ฐฉ๋ฌธํ ์ฅ์๋ณ๋ก ์ถ์ต์ ํ์ํ ์ ์๋ค.
โ๏ธ Hadoop : ๋์ฉ๋ ๋ฐ์ดํฐ ์ ์ฌ
โ๏ธ Sqoop : RDS์์ ์ฅ์ ํ์ ๋ฐ์ดํฐ๋ฅผ HDFS๋ก ์ ์ฌํ๊ธฐ ์ํด ์ฌ์ฉ
โ๏ธ Spark : ์ธ๋ฉ๋ชจ๋ฆฌ ๋ฐฉ์์ผ๋ก ์ฒ๋ฆฌํ๋ Spark๋ฅผ ์ฌ์ฉํ์ฌ Hadoop์ ์ฐ์ฐ ์๋๋ฅผ ๋ณด์
โ๏ธ Airflow : ์ฝ๋๋ฅผ ํตํด ํ์ดํ๋ผ์ธ์ ๊ตฌํํ ์ ์์
โ๏ธ ์ถ์ฒ ๊ธฐ๋ฅ ๊ณ ๋ํ (์ ์ ๊ธฐ๋ฐ ํํฐ๋ง์ ์ฌ์ฉํ ์ถ์ฒ ๊ธฐ๋ฅ)
โ๏ธ ํ๋ก ์์ฝ ์์คํ ์ ๊ฒฝํํด๋ณผ ์ ์์์
๋ฐ์์ | ๊ถ๊ธฐ์ค | ์์ฐ์ฒ |
์ถ์ต, ์๋ฆผ, ์ ์ , ์ธ์ฆ/์ธ๊ฐ, ๊ฐ๋ฐ ํธ์ |
์ธํ๋ผ / ๋น ๋ฐ์ดํฐ ๊ธฐ์ / ๋ถ๋ถ์ธ์ฆ | ๋น ๋ฐ์ดํฐ ๊ธฐ์ / ์ผ์ , ์ฅ์ |