2018年7月26日木曜日

dockerよく使うコマンド

  1. Dockerのbuildを実行(10~20分程度要する)
    docker-compose build
  2.  Dockerを実行する
    docker-compose up -d
  3. Dockerを停止する
    docker-compose down
  4. Dockerの起動状態を確認する
    docker-compose ps
  5. Dockerコンテナにログインする
    docker exec -it [コンテナ名] bash

hiveにデータ投入時に、「SemanticException [Error 10062]: Need to specify partition columns because the destination table is partitioned」の対策

パーティションが切っているテーブルに、パーティションキーを指定しないと、表題のようなエラーになります。

解消方法として、以下のように、「partition」を明確に指定することです。
メタデータの先頭に移動
SET hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table tmp_xxx.test_log partition(id) select * from common.log where id = 15692 and date between '2018-06-22 00:00' and '2018-06-22 23:59';