COPY Semalt를 사용하여 데이터를 Redshift로 가져 오기            COPY Semalt를 사용하여 데이터를 Redshift로 가져 오기

Teamswith를 Redshift 클러스터에 연결하고 스키마 만들기

TeamSQL을 엽니 다 (TeamSQL Semalt가없는 경우 teamsql. io에서 다운로드하고 새 연결을 추가하십시오).

• 연결 만들기 를 클릭하여 연결 추가 창을 시작합니다.

• Redshift를 선택하고 요청한 세부 정보를 제공하여 새 연결을 설정하십시오.
• 기본적으로 TeamSQL은 왼쪽 탐색 패널에 추가 한 연결을 표시합니다. 연결을 사용하려면 소켓 아이콘을 클릭하십시오.
• 기본 데이터베이스를 마우스 오른쪽 버튼으로 클릭하여 새 탭을 엽니 다.

• 이 명령을 실행하여 데이터베이스에 새 스키마를 만듭니다.

     SCHEMA 짹짹 만들기;    

• 연결 항목을 마우스 오른쪽 버튼으로 클릭하여 왼쪽 탐색 패널에서 데이터베이스 목록을 새로 고칩니다.
• 교육 데이터를위한 새 테이블을 만듭니다.

     CREATE TABLE 트윗. 훈련 (극성의 int,id int,date_of_tweet varchar,query varchar,user_id varchar,트윗 varchar)    

• 연결을 새로 고침하면 테이블이 왼쪽 목록에 나타납니다.

COPY 명령을 사용하여 데이터 가져 오기

소스 파일의 데이터를 데이터 테이블로 복사하려면 다음 명령을 실행하십시오.

     COPY 짹짹. 's3 : // MY_BUCKET / training에서 교육. 처리되었습니다. noemoticon. CSV. gz '자격증 명 'aws_access_key_id = MY_ACCESS_KEY; aws_secret_access_key = MY_SECRET_KEY'CSV GZIP ACCEPTINVCHARS    

이 명령은 CSV 파일을로드하고 우리의 짹짹에 데이터를 가져옵니다. 훈련 테이블.

명령 매개 변수 정의

CSV : 입력 데이터에서 CSV 형식 사용을 활성화합니다.

DELIMITER : 파이프 문자 (|), 쉼표 (,) 또는 탭 (\ t)과 같이 입력 파일의 필드를 구분하는 데 사용되는 단일 ASCII 문자를 지정합니다.

GZIP : 입력 파일이 압축 된 gzip 형식 (.gz 파일)으로 지정되는 값입니다. COPY 작업은 각 압축 파일을 읽고로드 할 때 데이터의 압축을 해제합니다.

ACCEPTINVCHARS : 데이터에 유효하지 않은 UTF-8 문자가 포함되어 있더라도 VARCHAR 열에 데이터를로드 할 수 있습니다. ACCEPTINVCHARS가 지정되면 COPY는 각 유효하지 않은 UTF-8 문자를 replacement_char 로 지정된 문자로 구성된 길이가 같은 문자열로 바꿉니다. 예를 들어, 대체 문자가 ' ^ '이면 유효하지 않은 3 바이트 문자가 ' ^^^ '로 바뀝니다.

대체 문자는 NULL을 제외한 모든 ASCII 문자가 될 수 있습니다. 기본값은 물음표 (?)입니다. 잘못된 UTF-8 문자에 대한 자세한 내용은 다중 바이트 문자로드 오류를 참조하십시오.

COPY는 유효하지 않은 UTF-8 문자가 포함 된 행 수를 반환하고 영향을받은 각 행에 대해 STL_REPLACEMENTS 시스템 테이블에 각 노드 슬라이스에 대해 최대 100 행까지 항목을 추가합니다. 부정한 UTF-8 문자도 대체되지만 대체 이벤트는 기록되지 않습니다.

ACCEPTINVCHARS가 지정되지 않으면 유효하지 않은 UTF-8 문자가 발생할 때마다 COPY가 오류를 리턴합니다.

ACCEPTINVCHARS는 VARCHAR 열에 대해서만 유효합니다.

추가 정보는 적색 편이 복사 매개 변수 및 데이터 형식을 참조하십시오.

가져온 데이터에 액세스하기

COPY 프로세스가 끝났습니다. SELECT 쿼리를 실행하여 모든 것이 제대로 가져 왔는지 확인하십시오 :

     SELECT *에서 짹짹. LIMIT 200 훈련;    

문제 해결

COPY 명령을 실행하는 동안 오류가 발생하면 다음을 실행하여 Semalt 로그를 확인할 수 있습니다.

     SELECT * FROM stl_load_errors;    

무료로 TeamSQL을 다운로드 할 수 있습니다.

저자 만나기

수 Abacıgil

Abacıgil이 TeamSQL의 공동 설립자 일 수 있습니까? Source .