AWSの外部からAWSのredisに接続可能にする方法

ローカル開発環境構築するため、自分のローカルPC（AWSの外）からAWS redisに接続する必要になりました。
調べたところ、aws redisはVPCのプライベートサブネットに作られているため、外部からの直接接続は不可能です。
踏み台用インスタンス(NATインスタンス)を立てて、アクセス転送の仕組みを使えばなんとかなることがわかりました。
具体的なやり方は以下にまとめました。

NAT用セキュリティグループを作成

EC2コンソール画面から「セキュリティグループ」/「セキュリティグループの作成」の順に操作します。

「インバウンド」タブから「ルールの追加」をクリックして、以下の２つルールを追加します。

・SSH　TCP　 22　自分のローカルIP

・カスタムTCP　TCP　6379　自分のローカルIP

NAT用インスタンスを作成

「AMIの選択」画面、左メニュー「コミュニティAMI」を選択、「amzn-ami-vpc-nat-hvm」を入れて検索します。

出てきた一番最新バージョンのamiを選択します。
PS:自分は最初普通のインスタンスを使っていたが、iptablesの設定など結構苦戦して結局設定できなかったです。やはり用意されたものを使うのが一番です。もしiptablesの設定に詳しいなら、通常のインスタンスでも大丈夫かと思います。

「インスタンス詳細の設定画面」、「自動割当てパブリックIP」を有効にします。

セキュリティグループの設定

前のステップで作成したNAT用セキュリティグループと「default VPC security group」を両方選びます。（２つ同時設定するのは大事！）

NAT インスタンスのSrcDestCheck属性を無効にします。

インスタンス一覧に対象インスタンスをチェックし、「アクション」／「ネットワーキング」／「送信元/送信先の変更チェック」の順に無効化します。

NATインスタンスにiptablesルールを追加

ローカルから作成したNATインスタンスにsshします。

NATインスタンスからのアクセスをRedisに転送するため、以下のiptablesルールを追加します。

iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 6379 -j DNAT --to redisサーバのIPアドレス:6379

redisサーバのIPアドレスを知る方法はまずElastiCacheダッシュボード/Redis/対象クラスター名の画面からredisサーバのホスト名を取得します。次にhostコマンドでサーバのIPアドレスを取得します。ドメインからIPアドレスを逆引き方法について

service iptables statusコマンドでルールが追加されたことを確認します。

# service iptables status
Table: nat
Chain PREROUTING (policy ACCEPT)
num  target     prot opt source               destination      
1    DNAT       tcp  --  0.0.0.0/0            0.0.0.0/0            tcp dpt:6379 to:172.31.78.185:6379

Chain INPUT (policy ACCEPT)
num  target     prot opt source               destination      

Chain OUTPUT (policy ACCEPT)
num  target     prot opt source               destination      

Chain POSTROUTING (policy ACCEPT)
num  target     prot opt source               destination      
1    MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0

ローカルから接続確認

これで準備が整いましたので、ローカルから接続してみます。

telnet NATインスタンスのパブリックIP 6379

Amazon Linuxでredisをインストール、操作に関するメモ

Amazon Linuxでredisをインストール、操作に関するメモ

まず、インストール

# amazon-linux-extras install redis4.0

次にredisに接続する

# redis-cli -h エンドポイント -p ポート番号

メモリの使用率が気になるので、メモリの容量などを確認する

以下のコマンドをうつっと、たくさんの情報が出てきました。そのうち # Memoryの部分は今回がみたい情報

# info

# Memory
used_memory:25368088
used_memory_human:24.19M
used_memory_rss:45121536
used_memory_rss_human:43.03M
used_memory_peak:40919128
used_memory_peak_human:39.02M
used_memory_peak_perc:62.00%
used_memory_overhead:19204566
used_memory_startup:3668896
used_memory_dataset:6163522
used_memory_dataset_perc:28.40%
allocator_allocated:25576096
allocator_active:41369600
allocator_resident:44400640
used_memory_lua:37888
used_memory_lua_human:37.00K
used_memory_scripts:0
used_memory_scripts_human:0B
number_of_cached_scripts:0
maxmemory:1248854016
maxmemory_human:1.16G
maxmemory_policy:volatile-lru
allocator_frag_ratio:1.62
allocator_frag_bytes:15793504
allocator_rss_ratio:1.07
allocator_rss_bytes:3031040
rss_overhead_ratio:1.02
rss_overhead_bytes:720896
mem_fragmentation_ratio:1.78
mem_fragmentation_bytes:19795320
mem_not_counted_for_evict:0
mem_replication_backlog:1048576
mem_clients_slaves:0
mem_clients_normal:117942
mem_aof_buffer:0
mem_allocator:jemalloc-5.1.0
active_defrag_running:0
lazyfree_pending_objects:0

上記の情報をみると、総容量1.16Gのうち、現に24.19Mが使われている。ピーク時に62%が使われた。

maxmemory_human：総容量

used_memory_human：現在の使用量

used_memory_peak_human：ピーク時に使用量

redisにデータを入れようとしたら、エラーが発生しました。(error) READONLY You can't write against a read only replica.

AWSのElastiCacheでredisタイプのサーバを作ってみました。

以下のコマンドで、telnetを入れて接続しました。

$ sudo yum install -y telnet
telnet test-myredis-for-web-ro.5irjbr.ng.0001.apne1.cache.amazonaws.com 6379

いざデータを入れようとしたら、エラーが発生しました。

$-1

set hoge hogehoge

-READONLY You can't write against a read only replica.

調査したところ、awsはデフォルト３つのノートを作成されるらしいです。
一つ「primary」と２つ「replica」が作られます。
書き込み用として使えるのは「primary」のみです。

「primary」用エンドポイントを使って再度接続し、データを入れてみたら、問題が解消できました。
以下↓「primary」用ノートのエンドポイントとなります。