电竞比分网-中国电竞赛事及体育赛事平台

搜索
分享

Springboot 2.0.x 集成基于Centos7的Redis集群安裝及配置

 Coder編程 2020-07-14

Redis簡介

Redis是一個基于C語言開發(fā)的開源（BSD許可），開源高性能的高級內(nèi)存數(shù)據(jù)結(jié)構(gòu)存儲，用作數(shù)據(jù)庫、緩存和消息代理。它支持數(shù)據(jù)結(jié)構(gòu)，如 字符串、散列、列表、集合，帶有范圍查詢的排序集，位圖，超級日志，具有半徑查詢和流的地理空間索引。Redis具有內(nèi)置復(fù)制，Lua腳本，LRU驅(qū)逐，事務(wù)和不同級別的磁盤持久性，并通過Redis Sentinel和Redis Cluster自動分區(qū)。

可以對這些數(shù)據(jù)類型進行原子性操作，例如 附加到字符串；遞增哈希值；將元素推送到列表中；計算集合交集，并集和差異；或則在排序中獲得排名最高的成員。為了實現(xiàn)其出色的性能，Redis使用內(nèi)存數(shù)據(jù)集。根據(jù)您的配置情況，可以通過 每隔一段時間將數(shù)據(jù)集轉(zhuǎn)存儲到磁盤或通過每個命令附加到日志文件來保存它。如果您只需要功能豐富的網(wǎng)絡(luò)內(nèi)存緩存，則可以選擇禁用持久性。

Redis還支持簡單到設(shè)置的主從異步復(fù)制，具有非常快速的非阻塞第一次同步，自動重新連接以及在網(wǎng)絡(luò)分割上的部分重新同步。

核心對象

RedisObject，圖片來源：一文讀懂redis

Redis五種數(shù)據(jù)結(jié)構(gòu)對應(yīng)的編碼，圖片來源：對象處理機制

五種數(shù)據(jù)結(jié)構(gòu)類型，圖片來源：初識Redis

1. Redis中的字符串

 Redis的STRING和其他編程語言或則其他鍵值存儲提供的字符串非常的相似。本文在使用圖片表示鍵值的時候，通常會將鍵名（key name）和值的類型放在方框的頂部，將值放在方框的里面。

STRING擁有一些和其他鍵值存儲相似的命令，比如GET（獲得值）、SET（設(shè)置值）和DEL（刪除值）。

2. Redis中的列表

Redis對鏈表（linked-list）結(jié)構(gòu)的支持使得它在鍵值存儲的世界中獨樹一幟。一個列表結(jié)構(gòu)可以有序的存儲多個字符串，和表示字符串時使用的方法一樣。

list-key是一個包含三個元素的列表鍵，注意列表中的元素時可以重復(fù)的。

Redis列表可執(zhí)行的操作和很多編程語言李米娜的列表操作非常的相似：LPUSH命令和RPUSH命令分別用戶將元素推送至列表的左端（left end）和右端（right end）；LPOP命令和RPOP命令分別用于從列表的左端和右端彈出元素；LINDEX命令用于獲取列表在給定位置上的一個元素；LRANGE命令用于獲取列表在給定范圍上的所有元素。

3. Redis中的集合

Redis的集合和列表都可以存儲多個字符串，它們之間的不同在于，列表可以存儲多個相同的字符串，而集合則通過使用散列表來保證自己存儲的每個字符都是各個相同的（這些散列表只有鍵，但沒有與鍵相關(guān)聯(lián)的值）。

因為Redis的集合使用無序（unordered）方式存儲元素，所以用戶不能像使用列表那樣，將元素推入到集合的某一端，或者從結(jié)合的某一端彈出元素。不過用戶可以使用SADD命令將元素添加到集合，或者使用SREM命令從集合里面移除元素。另外，還使用SISMEMBER命令快速地檢查一個元素是否已經(jīng)存在于集合中，或者使用SMEMBERS命令獲取集合包含的所有元素（如果集合包含的元素非常多，那么SMEMBERS命令的執(zhí)行速度可能會很慢，所以請謹慎地使用這個命令）。

4. Redis中的散列

Redis的散列可以存儲多個鍵值對之間的映射。和字符串一樣，散列存儲的值既可以時字符串又可以時數(shù)字值，并且用戶同樣可以對散列存儲的數(shù)字值執(zhí)行自增操作或自減操作。

hash-key是一個包含兩個鍵值對的散列鍵。

散列在很多方面就像是一個微縮版的Redis，好幾個字符串命令都有相應(yīng)的散列版本。其操作命令：HSET 在散列里面關(guān)聯(lián)起給定的鍵值對；HGET 獲取指定散列鍵的值；HGETALL 獲取散列包含的所有鍵值對；HDEL 如果給定鍵存在于散列里面，那么移除這個鍵。

5. Redis中的有序集合

Redis有序集合和散列一樣，都用于存儲鍵值對，其中有序集合的每個鍵稱為成員（member），都是獨一無二的，而有序集合的每個值稱為分值（score），都必須是浮點數(shù)。有序集合是Redis里面唯一既可以根據(jù)成員訪問元素（這一點和散列一樣），又可以根據(jù)分值以及分值的排列順序來訪問元素的結(jié)構(gòu)。

zset-key是一個包含兩個元素的有序集合鍵。

和Redis的其他結(jié)構(gòu)一樣，用戶可以對有序集合執(zhí)行添加、移除和獲取等操作。

Redis集群安裝及配置

服務(wù)器及節(jié)點：

192.168.56.101 7000、1001、7002；

192.168.56.102 7003、7004、7005

1. 安裝GCC編譯工具，不然可能會編譯的過程中出現(xiàn)編譯失敗情況

yum install gcc g++ gcc-c++ make

2. 下載并安裝Redis 官網(wǎng)下載

 

cd /opt
如果未找到wget命令：yum -y install wget
wget http://download./releases/redis-4.0.10.tar.gz
tar xzf redis-4.0.10.tar.gz
cd redis-4.0.10
make

 

3. 如果因為編譯失敗，又殘留的文件

make distclean

4. 創(chuàng)建節(jié)點

步驟 1：

首先在 192.168.56.101機器上 /opt/redis-4.0.10目錄下建 redis-cluster 目錄

mkdir /opt/redis-4.0.10/redis-cluster

步驟 2：

在 redis-cluster 目錄下，創(chuàng)建名為7000、7001、7002的目錄

 

mkdir 7000 7001 7002

 

步驟 3：

分別修改這三個配置文件，把如下redis.conf 配置內(nèi)容粘貼進去

vi 7000/redis.conf 
vi 7001/redis.conf
vi 7002/redis.conf

redis.conf 示例：

port 7000
bind 192.168.56.101
daemonize yes
pidfile /var/run/redis_7000.pid
logfile /var/log/redis/redis_7000.log
cluster-enabled yes
cluster-config-file nodes_7000.conf
cluster-node-timeout 10100
dbfilename dump_7000.rdb
appendonly yes
appendfilename "appendonly_7000.aof"

說明：

#端口7000,7001,7002
port 7000
#默認ip為127.0.0.1，需要改為其他節(jié)點機器可訪問的ip，否則創(chuàng)建集群時無法訪問對應(yīng)的端口，無法創(chuàng)建集群
bind 192.168.56.101
#redis后臺運行
daemonize yes
#pidfile文件對應(yīng)7000，7001，7002
pidfile /var/run/redis_7000.pid
#開啟集群，把注釋#去掉
cluster-enabled yes
#集群的配置，配置文件首次啟動自動生成 7000，7001，7002          
cluster-config-file nodes_7000.conf
#請求超時，默認15秒，可自行設(shè)置 
cluster-node-timeout 10100    
#aof日志開啟，有需要就開啟，它會每次寫操作都記錄一條日志
appendonly yes

步驟 4：

接著在另外一臺機器上(192.168.56.102)重復(fù)以上三步，只是把目錄改為7003、7004、7005對應(yīng)的配置文件也按照這個規(guī)則修改即可

 5. 啟動節(jié)點

# 第一臺機器上執(zhí)行 3個節(jié)點
for((i=0;i<=2;i++)); do /opt/redis-4.0.10/src/redis-server  /opt/redis-4.0.10/redis-cluster/700$i/redis.conf; done
# 第二臺機器上執(zhí)行 3個節(jié)點
for((i=3;i<=5;i++)); do /opt/redis-4.0.10/src/redis-server  /opt/redis-4.0.10/redis-cluster/700$i/redis.conf; done
# 啟動單個節(jié)點示例
/opt/redis-4.0.10/src/redis-server /opt/redis-4.0.10/redis-cluster/7000/redis.conf

6. 檢查服務(wù)

檢查各 Redis 各個節(jié)點啟動情況

ps -ef | grep redis           //redis是否啟動成功
netstat -tnlp | grep redis    //監(jiān)聽redis端口

安裝 netstat ：https://www.cnblogs.com/cocoajin/p/4064547.html

7. 安裝Ruby

yum -y install ruby ruby-devel rubygems rpm-build
gem install redis

安裝過程中可能會出現(xiàn)異常情況發(fā)生，比如：

解決辦法：https://blog.csdn.net/FengYe_YuLu/article/details/77628094

8. 創(chuàng)建集群

注意：

在任意一臺上運行 不要在每臺機器上都運行，一臺就夠了。

Redis 官方提供了 redis-trib.rb 這個工具，就在解壓目錄的 src 目錄中

/opt/redis-4.0.10/src/redis-trib.rb create --replicas 1 192.168.56.101:7000 192.168.56.101:7001 192.168.56.101:7002 192.168.56.102:7003 192.168.56.102:7004 192.168.56.102:7005

出現(xiàn)以下內(nèi)容，則表示集群創(chuàng)建成功了：

[root@master1 /]# /opt/redis-4.0.10/src/redis-trib.rb create --replicas 1 192.168.56.101:7000 192.168.56.101:7001 192.168.56.101:7002 192.168.56.102:7003 192.168.56.102:7004 192.168.56.102:7005
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
192.168.56.101:7000
192.168.56.102:7003
192.168.56.101:7001
Adding replica 192.168.56.102:7005 to 192.168.56.101:7000
Adding replica 192.168.56.101:7002 to 192.168.56.102:7003
Adding replica 192.168.56.102:7004 to 192.168.56.101:7001
M: 6af67c2741b3001e6d328621ac8a2e539b65d683 192.168.56.101:7000
   slots:0-5460 (5461 slots) master
M: e2f298953141f46b255b0f35372af917afc16205 192.168.56.101:7001
   slots:10923-16383 (5461 slots) master
S: 3516ed59324a7421878b2c17aba44d91ec7e9439 192.168.56.101:7002
   replicates ab5b4535f3382c13d7afb91d005e8a87d830eb46
M: ab5b4535f3382c13d7afb91d005e8a87d830eb46 192.168.56.102:7003
   slots:5461-10922 (5462 slots) master
S: 16822c6d58461f9edaf965aa53efdac59d1adce5 192.168.56.102:7004
   replicates e2f298953141f46b255b0f35372af917afc16205
S: c00dea4a44e01e1f17b29f7b3b95e0c57b06a653 192.168.56.102:7005
   replicates 6af67c2741b3001e6d328621ac8a2e539b65d683
Can I set the above configuration? (type 'yes' to accept): yes

輸入 yes

>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join....
>>> Performing Cluster Check (using node 192.168.56.101:7000)
M: 6af67c2741b3001e6d328621ac8a2e539b65d683 192.168.56.101:7000
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
S: c00dea4a44e01e1f17b29f7b3b95e0c57b06a653 192.168.56.102:7005
   slots: (0 slots) slave
   replicates 6af67c2741b3001e6d328621ac8a2e539b65d683
S: 3516ed59324a7421878b2c17aba44d91ec7e9439 192.168.56.101:7002
   slots: (0 slots) slave
   replicates ab5b4535f3382c13d7afb91d005e8a87d830eb46
M: ab5b4535f3382c13d7afb91d005e8a87d830eb46 192.168.56.102:7003
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
S: 16822c6d58461f9edaf965aa53efdac59d1adce5 192.168.56.102:7004
   slots: (0 slots) slave
   replicates e2f298953141f46b255b0f35372af917afc16205
M: e2f298953141f46b255b0f35372af917afc16205 192.168.56.101:7001
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

重啟集群過程中，可能出現(xiàn)問題：

[ERR] Node 192.168.56.101:7000 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

解決：

需要將redis-cluster數(shù)據(jù)文件清空，執(zhí)行腳本如下：

 

rm -rf /opt/redis-4.0.10/redis-cluster/dump.rdb /opt/redis-4.0.10/redis-cluster/nodes_*.conf /opt/redis-4.0.10/redis-cluster/appendonly.aof

 

9. 關(guān)閉集群

 

 推薦：

pkill redis

也可以通過循環(huán)節(jié)點方式，逐個關(guān)閉：

for((i=0;i<=2;i++)); do /opt/redis-4.0.10/src/redis-cli -c -h 192.168.56.101 -p 700$i shutdown; done
for((i=3;i<=5;i++)); do /opt/redis-4.0.10/src/redis-cli -c -h 192.168.56.102 -p 700$i shutdown; done

關(guān)閉單個節(jié)點：

/opt/redis-4.0.10/src/redis-cli -c -h 192.168.56.101 -p 7000 shutdown

10. 集群驗證

步驟1 . 連接集群測試

參數(shù) -C 可連接到集群，因為 redis.conf 將 bind 改為了ip地址，所以 -h 參數(shù)不可以省略，-p 參數(shù)為端口號

我們在192.168.256.101機器redis 7000 的節(jié)點set 一個key

 

/opt/redis-4.0.10/src/redis-cli -h 192.168.56.101 -c -p 7000
執(zhí)行如下：
set name xushuyi
get name

 

我們在192.168.56.102機器redis 7000 的節(jié)點get一個key

 

/opt/redis-4.0.10/src/redis-cli -h 192.168.56.102 -c -p 7000
執(zhí)行如下：
get name

 

步驟2 . 檢查集群狀態(tài)

/opt/redis-4.0.10/src/redis-trib.rb check 192.168.56.101:7000

步驟3 . 列出集群節(jié)點

/opt/redis-4.0.10/src/redis-cli -h 192.168.56.101 -c -p 7000

更詳細的，請參考：https://segmentfault.com/a/1190000010682551

11. spring boot 2.0.x 服務(wù)集成Redis集群

1. 引入依賴

<!-- redis -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<!-- redis 依賴 commons-pool -->
<dependency>
    <groupId>org.apache.commons</groupId>    
    <artifactId>commons-pool2</artifactId>
</dependency>

2. 配置文件

# redis 集群配置
spring:
  redis:
    cluster:
      nodes: 192.168.56.101:7000,192.168.56.101:7001,192.168.56.101:7002,192.168.56.102:7003,192.168.56.102:7004,192.168.56.102:7005
    timeout: 6000ms # 連接池超時時間（毫秒）
    # 密碼沒有可以不填
    password:
    database: 0 # 數(shù)據(jù)庫索引
    lettuce:
      pool:
        max-active: 8 # 連接池最大活躍連接數(shù)（使用負值表示沒有限制）
        max-idle: 8 # 連接池最大空閑連接數(shù)
        max-wait: -1ms # 連接池最大阻塞等待時間 毫秒（使用負值表示沒有限制）
        min-idle: 0 # 最小空閑連接數(shù)

3. 創(chuàng)建RedisConfig配置文件

package com.sinosoft.config;

import com.fasterxml.jackson.annotation.JsonAutoDetect;
import com.fasterxml.jackson.annotation.PropertyAccessor;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.springframework.boot.autoconfigure.AutoConfigureAfter;
import org.springframework.boot.autoconfigure.data.redis.RedisAutoConfiguration;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.connection.lettuce.LettuceConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;

/**
 * @ClassName: RedisConfig
 * @Description: Redis配置
 * @author: Created by xushuyi <a href="xu_xxx1002@163.com">Contact author</a>
 * @date: 2019/2/28 16:01
 * @Version: V1.0
 */
@Configuration
@AutoConfigureAfter(RedisAutoConfiguration.class)
public class RedisConfig {


    /**
     * 注入自定義的RedisTemplate
     *
     * @param redisConnectFactory LettuceConnectionFactory
     * @return RedisTemplate
     */
    @Bean
    public RedisTemplate<String, Object> redisTemplate(LettuceConnectionFactory redisConnectFactory) {
        RedisTemplate<String, Object> redisTemplate = new RedisTemplate<>();
        redisTemplate.setConnectionFactory(redisConnectFactory);
        // 使用Jackson2JsonRedisSerializer來序列化和反序列化redis的value值
        Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
        ObjectMapper objectMapper = new ObjectMapper();
        objectMapper.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
        objectMapper.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
        jackson2JsonRedisSerializer.setObjectMapper(objectMapper);
        redisTemplate.setValueSerializer(jackson2JsonRedisSerializer);
        // 使用StringRedisSerializer來序列化和反序列化redis的key值
        redisTemplate.setKeySerializer(new StringRedisSerializer());
        redisTemplate.setHashKeySerializer(new StringRedisSerializer());
        redisTemplate.setHashValueSerializer(new StringRedisSerializer());
        redisTemplate.afterPropertiesSet();
        return redisTemplate;
    }

}

4. 啟動入口增加  @EnableCaching

5. 單元測試

package com.sinosoft.redis;

import com.sinosoft.AccountApplication;
import lombok.extern.slf4j.Slf4j;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.cache.annotation.Cacheable;
import org.springframework.context.annotation.Import;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.test.context.ActiveProfiles;
import org.springframework.test.context.junit4.SpringJUnit4ClassRunner;
import org.springframework.test.context.web.WebAppConfiguration;

/**
 * @ClassName: RedisTest
 * @Description: Redis測試
 * @author: Created by xushuyi <a href="xu_shuyi1002@163.com">Contact author</a>
 * @date: 2019/2/28 16:18
 * @Version: V1.0
 */
@Slf4j
@RunWith(SpringJUnit4ClassRunner.class) // SpringJUnit支持，由此引入Spring-Test框架支持！
@SpringBootTest
@Import(AccountApplication.class) // 指定我們SpringBoot工程的Application啟動類
@ActiveProfiles(profiles = "dev") // 指定Application啟動需要引用的配置文件
@WebAppConfiguration // 由于是Web項目，Junit需要模擬ServletContext，因此我們需要給我們的測試類加上@WebAppConfiguration
public class RedisTest {

    /**
     * 獲取RedisTemplate
     */
    @Autowired
    private RedisTemplate redisTemplate;

    /**
     * 測試前
     */
    @Before
    public void before() {
        log.info("測試前...");
    }

    /**
     * 開始測試
     */
    @Test
    public void redisTest() {
        // 測試通過RedisTemplate操作
        redisTemplate.opsForValue().set("name", "huachunjie");
        Object name = redisTemplate.opsForValue().get("name");
        log.info("獲取Redis集群中key為name對應(yīng)的值：{}", name);
    }

    @After
    public void after() {
        log.info("測試后...");
    }
}

6. 基于注解的方式實現(xiàn)

    /**
     * 測試Redis緩存
     *
     * @param requestInfo 入?yún)?     * @return
     */
    @Override
    @Cacheable(value = "cacheInfo", key = "#requestInfo.token", condition = "#requestInfo != null")
    public ResponseInfo testRedis(RequestInfo<String> requestInfo) {
        log.info("如果沒有進來，則說明啟用了Redis緩存...");
        return new ResponseInfo<>(true, "success", 200, null);
    }

 

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻花（0）

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多