月份: 2020 年 5 月

Redis 的讀寫都是在內存中，所以它的性能較高，但在內存中的數據會隨着服務器的重啟而丟失，為了保證數據不丟失，我們需要將內存中的數據存儲到磁盤，以便 Redis 重啟時能夠從磁盤中恢復原有的數據，而整個過程就叫做 Redis 持久化。

Redis 持久化也是 Redis 和 Memcached 的主要區別之一，因為 Memcached 是不具備持久化功能的。

1.持久化的幾種方式

Redis 持久化擁有以下三種方式：

• 快照方式（RDB, Redis DataBase）將某一個時刻的內存數據，以二進制的方式寫入磁盤；
• 文件追加方式（AOF, Append Only File），記錄所有的操作命令，並以文本的形式追加到文件中；
• 混合持久化方式，Redis 4.0 之後新增的方式，混合持久化是結合了 RDB 和 AOF 的優點，在寫入的時候，先把當前的數據以 RDB 的形式寫入文件的開頭，再將後續的操作命令以 AOF 的格式存入文件，這樣既能保證 Redis 重啟時的速度，又能簡單數據丟失的風險。

因為每種持久化方案，都有特定的使用場景，讓我們先從 RDB 持久化說起吧。

2.RDB簡介

RDB（Redis DataBase）是將某一個時刻的內存快照（Snapshot），以二進制的方式寫入磁盤的過程。

3.持久化觸發

RDB 的持久化觸發方式有兩類：一類是手動觸發，另一類是自動觸發。

1）手動觸發

手動觸發持久化的操作有兩個： save 和 bgsave ，它們主要區別體現在：是否阻塞 Redis 主線程的執行。

① save 命令

在客戶端中執行 save 命令，就會觸發 Redis 的持久化，但同時也是使 Redis 處於阻塞狀態，直到 RDB 持久化完成，才會響應其他客戶端發來的命令，所以在生產環境一定要慎用。

save 命令使用如下：

從圖片可以看出，當執行完 save 命令之後，持久化文件 dump.rdb 的修改時間就變了，這就表示 save 成功的觸發了 RDB 持久化。
save 命令執行流程，如下圖所示：

② bgsave 命令

bgsave（background save）既後台保存的意思， 它和 save 命令最大的區別就是 bgsave 會 fork() 一個子進程來執行持久化，整個過程中只有在 fork() 子進程時有短暫的阻塞，當子進程被創建之後，Redis 的主進程就可以響應其他客戶端的請求了，相對於整個流程都阻塞的 save 命令來說，顯然 bgsave 命令更適合我們使用。
bgsave 命令使用，如下圖所示：

bgsave 執行流程，如下圖所示：

2）自動觸發

說完了 RDB 的手動觸發方式，下面來看如何自動觸發 RDB 持久化？
RDB 自動持久化主要來源於以下幾種情況。

① save m n

save m n 是指在 m 秒內，如果有 n 個鍵發生改變，則自動觸發持久化。
參數 m 和 n 可以在 Redis 的配置文件中找到，例如，save 60 1 則表明在 60 秒內，至少有一個鍵發生改變，就會觸發 RDB 持久化。
自動觸發持久化，本質是 Redis 通過判斷，如果滿足設置的觸發條件，自動執行一次 bgsave 命令。
注意：當設置多個 save m n 命令時，滿足任意一個條件都會觸發持久化。
例如，我們設置了以下兩個 save m n 命令：

• save 60 10
• save 600 1

當 60s 內如果有 10 次 Redis 鍵值發生改變，就會觸發持久化；如果 60s 內 Redis 的鍵值改變次數少於 10 次，那麼 Redis 就會判斷 600s 內，Redis 的鍵值是否至少被修改了一次，如果滿足則會觸發持久化。

② flushall

flushall 命令用於清空 Redis 數據庫，在生產環境下一定慎用，當 Redis 執行了 flushall 命令之後，則會觸發自動持久化，把 RDB 文件清空。
執行結果如下圖所示：

③ 主從同步觸發

在 Redis 主從複製中，當從節點執行全量複製操作時，主節點會執行 bgsave 命令，並將 RDB 文件發送給從節點，該過程會自動觸發 Redis 持久化。

4.配置說明

合理的設置 RDB 的配置，可以保障 Redis 高效且穩定的運行，下面一起來看 RDB 的配置項都有哪些？

RDB 配置參數可以在  Redis 的配置文件中找見，具體內容如下：

# RDB 保存的條件
save 900 1
save 300 10
save 60 10000

# bgsave 失敗之後，是否停止持久化數據到磁盤，yes 表示停止持久化，no 表示忽略錯誤繼續寫文件。
stop-writes-on-bgsave-error yes

# RDB 文件壓縮
rdbcompression yes

# 寫入文件和讀取文件時是否開啟 RDB 文件檢查，檢查是否有無損壞，如果在啟動是檢查發現損壞，則停止啟動。
rdbchecksum yes

# RDB 文件名
dbfilename dump.rdb

# RDB 文件目錄
dir ./

其中比較重要的參數如下列表：
① save 參數
它是用來配置觸發 RDB 持久化條件的參數，滿足保存條件時將會把數據持久化到硬盤。
默認配置說明如下：

• save 900 1：表示 900 秒內如果至少有 1 個 key 值變化，則把數據持久化到硬盤；
• save 300 10：表示 300 秒內如果至少有 10 個 key 值變化，則把數據持久化到硬盤；
• save 60 10000：表示 60 秒內如果至少有 10000 個 key 值變化，則把數據持久化到硬盤。

② rdbcompression 參數
它的默認值是 yes 表示開啟 RDB 文件壓縮，Redis 會採用 LZF 算法進行壓縮。如果不想消耗 CPU 性能來進行文件壓縮的話，可以設置為關閉此功能，這樣的缺點是需要更多的磁盤空間來保存文件。
③ rdbchecksum 參數
它的默認值為 yes 表示寫入文件和讀取文件時是否開啟 RDB 文件檢查，檢查是否有無損壞，如果在啟動是檢查發現損壞，則停止啟動。

5.配置查詢

Redis 中可以使用命令查詢當前配置參數。查詢命令的格式為：config get xxx ，例如，想要獲取 RDB 文件的存儲名稱設置，可以使用 config get dbfilename ，執行效果如下圖所示：

查詢 RDB 的文件目錄，可使用命令 config get dir ，執行效果如下圖所示：

6.配置設置

設置 RDB 的配置，可以通過以下兩種方式：

• 手動修改 Redis 配置文件；
• 使用命令行設置，例如，使用 config set dir "/usr/data" 就是用於修改 RDB 的存儲目錄。

注意：手動修改 Redis 配置文件的方式是全局生效的，即重啟 Redis 服務器設置參數也不會丟失，而使用命令修改的方式，在 Redis 重啟之後就會丟失。但手動修改 Redis 配置文件，想要立即生效需要重啟 Redis 服務器，而命令的方式則不需要重啟 Redis 服務器。

小貼士：Redis 的配置文件位於 Redis 安裝目錄的根路徑下，默認名稱為 redis.conf。

7.RDB 文件恢復

當 Redis 服務器啟動時，如果 Redis 根目錄存在 RDB 文件 dump.rdb，Redis 就會自動加載 RDB 文件恢復持久化數據。
如果根目錄沒有 dump.rdb 文件，請先將 dump.rdb 文件移動到 Redis 的根目錄。
驗證 RDB 文件是否被加載
Redis 在啟動時有日誌信息，會显示是否加載了 RDB 文件，我們執行 Redis 啟動命令：src/redis-server redis.conf ，如下圖所示：

從日誌上可以看出， Redis 服務在啟動時已經正常加載了 RDB 文件。

小貼士：Redis 服務器在載入 RDB 文件期間，會一直處於阻塞狀態，直到載入工作完成為止。

8.RDB 優缺點

1）RDB 優點

• RDB 的內容為二進制的數據，佔用內存更小，更緊湊，更適合做為備份文件；
• RDB 對災難恢復非常有用，它是一個緊湊的文件，可以更快的傳輸到遠程服務器進行 Redis 服務恢復；
• RDB 可以更大程度的提高 Redis 的運行速度，因為每次持久化時 Redis 主進程都會 fork() 一個子進程，進行數據持久化到磁盤，Redis 主進程並不會執行磁盤 I/O 等操作；

• 與 AOF 格式的文件相比，RDB 文件可以更快的重啟。

  2）RDB 缺點

• 因為 RDB 只能保存某個時間間隔的數據，如果中途 Redis 服務被意外終止了，則會丟失一段時間內的 Redis 數據；

• RDB 需要經常 fork() 才能使用子進程將其持久化在磁盤上。如果數據集很大，fork() 可能很耗時，並且如果數據集很大且 CPU 性能不佳，則可能導致 Redis 停止為客戶端服務幾毫秒甚至一秒鐘。

  9.禁用持久化

  禁用持久化可以提高 Redis 的執行效率，如果對數據丟失不敏感的情況下，可以在連接客戶端的情況下，執行 config set save "" 命令即可禁用 Redis 的持久化，如下圖所示：

  10.小結

  通過本文我們可以得知，RDB 持久化分為手動觸發和自動觸發兩種方式，它的優點是存儲文件小，Redis 啟動時恢複數據比較快，缺點是有丟失數據的風險。RDB 文件的恢復也很簡單，只需要把 RDB 文件放到 Redis 的根目錄，在 Redis 啟動時就會自動加載並恢複數據。

  11.思考題

  如果 Redis 服務器 CPU 佔用過高，可能是什麼原因導致的？歡迎各位在評論區，寫下你們的答案。

  12.參考&鳴謝

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※台北網頁設計公司這麼多，該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

※網頁設計公司推薦更多不同的設計風格，搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

※南投搬家費用,距離,噸數怎麼算?達人教你簡易估價知識!

ChuanGoing 2019-11-17

    這篇原本想把事務處理、日誌處理、錯誤處理、授權與鑒權一併介紹完的，授權和鑒權我想結合自定義權限來介紹，全部放到這裏篇幅可能太長，因此權限部分將會在下篇來介紹。先說下我接下來的打算把，下篇將介紹權限控制，結合Oauth2.0和OpenId(OIDC)以及自定義權限來介紹；完了後會結合之前所介紹的基礎來實現一個簡單的電商網站，當然是利用領域驅動設計來實現。我的這個系列的主題就是領域驅動設計，實現簡單電商網站時將會深入的講解下領域的劃分原則及領域服務的場景，中間可能會嘗試部分業務實現事件驅動。

本篇學習曲線：

1.日誌記錄

2.錯誤處理

3.事務處理

日誌記錄

    NLog是一個記錄日誌組件，和log4net一樣被廣泛使用，它可以將日誌保存到文本文件、CSV、控制台、VS調試窗口、數據庫等。在之前例子中的WebApi項目中添加NLog.Web.AspNetCore的Nuget包，並添加如下配置：

   簡單介紹下配置信息，“targets”配置每個輸出配置，我這裡有3個輸出：database、allfile、ownfile，分別表示輸出到數據庫和對應路徑的日誌文件下。

“rules”規則配置了4條：

1.將Debug以上級別(含)信息輸出到allfile

2.忽略Microsoft.*開頭的信息(對應的輸出沒有配置到任何文件)，此配置一般忽略即可

3.將Debug以上級別(含)信息輸出到ownfile(注意這裏配置和allfile一樣，一般配置級別高點的日誌信息)

4.將Warn以上級別(含)信息輸出到數據庫

完了后，在Program.cs Main方法裏面註冊NLog：

var logger = NLogBuilder.ConfigureNLog($"Nlog.config").GetCurrentClassLogger();
            try
            {
                CreateWebHostBuilder(args).Build().Run();
            }
            catch (Exception ex)
            {
                logger.Error(ex, "Stopped program because of exception");
                throw ex;
            }
            finally
            {
                NLog.LogManager.Shutdown();
            }

注意不要忘了啟用NLog組件使之生效

在OrderController的Add方法中加入以下代碼：

用postman簡單測試下，我們可以看到執行目錄中多出來了日誌信息

錯誤處理

  這裏一般我們關心的錯誤大概有兩類：

1.內部錯誤，即通過框架(Mvc)管道準確的傳入到內部系統中併發生錯誤的此類信息

2.框架(Mvc)執行管道的某些中間件時發生的錯誤或被中間件禁止繼續訪問的請求

  因此，定義如下3個類：

public class InnerException : Exception
    {
        /// <summary>
        /// 內部錯誤代碼
        /// </summary>
        public int? ErrorCode { get; }

        public InnerException(int errorCode) : base()
        {
            ErrorCode = errorCode;
        }

        public InnerException(int errorCode, string message) : base(message)
        {
            ErrorCode = errorCode;
        }

        public InnerException(int code, string message, Exception exception) : base(message, exception)
        {
            ErrorCode = code;
        }
    }

InnerException

public class MessageCodes
    {
        #region 公用

        /// <summary>
        /// 成功
        /// </summary>
        public const int Success = 20101000;
        /// <summary>
        /// 警告
        /// </summary>
        public const int Warning = 20102000;
        /// <summary>
        /// 錯誤
        /// </summary>
        public const int Error = 20103000;
        /// <summary>
        /// 數據驗證錯誤
        /// </summary>
        public const int DataValidationError = 20104000;
        /// <summary>
        /// 數據不存在
        /// </summary>
        public const int DataNotFound = 20105000;
        /// <summary>
        /// 非法的數據狀態
        /// </summary>
        public const int IllegalState = 20106000;
        /// <summary>
        /// 參數無效
        /// </summary>
        public const int InvalidParams = 20107000;
        /// <summary>
        /// 輸入非法
        /// </summary>
        public const int IllegalInput = 20108000;
        /// <summary>
        /// 鑒權成功
        /// </summary>
        public const int AuthSuccess = 20109000;

        #endregion

    }

MessageCodes

 public class WebException: InnerException
    {
        public HttpStatusCode HttpStatus { get; set; }

        public HttpRequest Request { get; private set; }

        public WebException(HttpStatusCode httpStatus, int errorCode, string message)
             : base(errorCode, message)
        {
            HttpStatus = httpStatus;
        }

        public WebException(HttpStatusCode httpStatus, int errorCode, string message, HttpRequest request)
            : this(httpStatus, errorCode, message)
        {
            Request = request;
        }

        public WebException(int errorCode, string message)
            : base(errorCode, message)
        {
            HttpStatus = HttpStatusCode.BadRequest;
        }
    }

WebException

通過Aop，很方便就可以實現錯誤信息的處理：

public class ExceptionFilter : IExceptionFilter
    {
        private readonly ILogger<ExceptionFilter> _logger;

        public ExceptionFilter(ILogger<ExceptionFilter> logger)
        {
            _logger = logger;
        }

        public void OnException(ExceptionContext context)
        {
            _logger.LogError(context.Exception, context.Exception.Message);

            #region Ioc/automapper等中間件對錯誤信息進行了包裝,需要解包

            //web錯誤:驗證/鑒權等
            var webException = GetException<Base.Exceptions.WebException>(context.Exception);
            if (webException != null)
            {
                context.Result = new JsonResult(new
                {
                    ErrorCode = webException.ErrorCode ?? MessageCodes.Error,
                    webException.Message
                })
                {
                    StatusCode = (int)webException.HttpStatus
                };
                return;
            }
            //內部錯誤
            var exception = GetException<InnerException>(context.Exception);
            if (exception != null)
            {
                context.Result = new JsonResult(new
                {
                    ErrorCode = exception.ErrorCode ?? MessageCodes.Error,
                    exception.Message
                })
                {
                    StatusCode = (int)HttpStatusCode.InternalServerError
                };
                return;
            }

            #endregion
        }

        private TException GetException<TException>(Exception exception)
          where TException : Exception
        {
            if (exception == null)
            {
                return null;
            }
            if (exception is TException tException)
            {
                return tException;
            }
            else
            {
                return GetException<TException>(exception.InnerException);
            }
        }
    }

ExceptionFilter

同時，Startup.cs的ConfigureServices中註冊一下：

services.AddMvc(mvcOptions =>
                {
                    mvcOptions.Filters.Add<ExceptionFilter>();
                })

即完成了錯誤信息並且錯誤信息會寫入相應配置的輸出中。

事務處理

  UnitOfWork又稱工作單元，為了保證數據操作完整性，我們將處理數據的的操作統一放在一個事務中，我們這裏利用UnitOfWork來實現事務處理。

首先定義IUnitOfWork及UnitOfWork實現：

 public interface IUnitOfWork
    {
        void Begin(IsolationLevel level = IsolationLevel.Unspecified);
        void SaveChanges();
        void Failed();
    }

View Code

public class UnitOfWork : IUnitOfWork
    {
        private ITransactionRepository _repository;

        public UnitOfWork(ITransactionRepository repository)
        {
            _repository = repository;
        }

        public virtual void Begin(IsolationLevel level = IsolationLevel.Unspecified)
        {
            _repository.BeginTransaction(level);
        }

        public virtual void SaveChanges()
        {
            _repository.Commit();
        }

        public virtual void Failed()
        {
            _repository.Rollback();
        }
    }

View Code

其中，UnitOfWork依賴於ITransactionRepository的實現：

public interface ITransactionRepository
    {
        /// <summary>
        /// 打開事務
        /// </summary>
        /// <param name="level"></param>
        void BeginTransaction(IsolationLevel level = IsolationLevel.Unspecified);
        /// <summary>
        /// 提交事務
        /// </summary>
        void Commit();
        /// <summary>
        /// 事務回滾
        /// </summary>
        void Rollback();
    }

ITransactionRepository

利用DapperRepository繼承ITransactionRepository並實現：

public virtual void BeginTransaction(IsolationLevel level = IsolationLevel.Unspecified)
        {
            DbContext.BeginTransaction(level);
        }

        public virtual void Commit()
        {
            DbContext.Commit();
        }

        public virtual void Rollback()
        {
            DbContext.RollBack();
        }

View Code

基本功能實現后，如何使用呢？這裏還是需要利用Aop：

public class UnitOfWorkAttribute : AbstractInterceptorAttribute
    {
        public override Task Invoke(AspectContext context, AspectDelegate next)
        {
            if (context.Implementation is IApplicationService applicationService)
            {
                var uow = applicationService.UnitOfWork;
                uow.Begin();
                var aspectDelegate = next(context);
                if (aspectDelegate.Exception != null)
                {
                    uow.Failed();
                    throw aspectDelegate.Exception;
                }
                else
                {
                    uow.SaveChanges();
                    return aspectDelegate;
                }
            }
            else
            {
                return next(context);
            }
        }
    }

UnitOfWorkAttribute

因此，我們還需要在Application項目中添加如下代碼：

 public class ServiceBase<TEntity, TPrimaryKey> : IApplicationService
        where TEntity : class, IEntity<TPrimaryKey>
    {
        protected IMapper Mapper { get; private set; }
        public virtual IUnitOfWork UnitOfWork { get; private set; }

        public ServiceBase(IComponentContext container, ICommandRepository<TEntity, TPrimaryKey> repository)
        {
            Mapper = container.Resolve<IMapper>();
            UnitOfWork = container.Resolve<IUnitOfWork>(new TypedParameter(typeof(ITransactionRepository), repository));
        }
    }

ServiceBase

Application中的每個服務去繼承上面的ServiceBase，因此每個Application服務都具有了事務處理能力

 public interface IOrderService : IScopeInstance
    {
        [UnitOfWork]
        void Add(OrderViewModel order);
        OrderViewResult Get(string sn);
    }

 程序運行時，Add方法前後形成切面，如下圖所示,next(context)這裏執行的就是Add方法,執行前開啟事務，執行后提交

 利用Aop特性切面實現事務的無感注入(Ioc/DI小節中引入了AspectCore動態代理)，底層還是依賴IDbConnection的事務相關接口，完整的事務處理大概就是這樣了。

詳細代碼在Github的 的Domain分支可以找到。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!