国产精品一区二区av交换,中文字幕人成无码免费视频,永久免费av无码网站性色av,欧美一道本一区二区三区,樱桃熟了a级毛片

技術分享:一步完成MySQL向Redis遷移

Ruby 發(fā)表于:13年01月07日 00:37 [來稿] DOIT.com.cn

  • 分享:
[導讀]在把一個大表從 MySQL 遷移到 Redis 時,你可能會發(fā)現,每次提取、轉換、導入一條數據是讓人難以忍受的慢!這里有一個技巧,你可以通過使用管道把 MySQL 的輸出直接輸入到 redis-cli輸入端,這可以使兩個數據庫都能以他們的最頂級速度來運行。

在把一個大表從 MySQL 遷移到 Redis 時,你可能會發(fā)現,每次提取、轉換、導入一條數據是讓人難以忍受的慢!這里有一個技巧,你可以通過使用管道把 MySQL 的輸出直接輸入到 redis-cli輸入端,這可以使兩個數據庫都能以他們的最頂級速度來運行。

使用了這個技術,我把 800 萬條 MySQL 數據導入到 Redis 的時間從 90 分鐘縮短到了兩分鐘。

Mysql到Redis的數據協(xié)議

redis-cli命令行工具有一個批量插入模式,是專門為批量執(zhí)行命令設計的。這第一步就是把Mysql查詢的內容格式化成redis-cli可用的數據格式。here we go!

我的統(tǒng)計表:

  1. CREATE TABLE events_all_time (  
  2.   id int(11) unsigned NOT NULL AUTO_INCREMENT,  
  3.   action varchar(255) NOT NULL,  
  4.   count int(11) NOT NULL DEFAULT 0,  
  5.   PRIMARY KEY (id),  
  6.   UNIQUE KEY uniq_action (action)  
  7. ); 

準備在每行數據中執(zhí)行的redis命令如下:

  1. HSET events_all_time [action] [count

按照以上redis命令規(guī)則,創(chuàng)建一個events_to_redis.sql文件,內容是用來生成redis數據協(xié)議格式的SQL:

  1. -- events_to_redis.sql  
  2.  
  3. SELECT CONCAT(  
  4.   "*4\r\n",  
  5.   '$', LENGTH(redis_cmd), '\r\n',  
  6.   redis_cmd, '\r\n',  
  7.   '$', LENGTH(redis_key), '\r\n',  
  8.   redis_key, '\r\n',  
  9.   '$', LENGTH(hkey), '\r\n',  
  10.   hkey, '\r\n',  
  11.   '$', LENGTH(hval), '\r\n',  
  12.   hval, '\r' 
  13. )  
  14. FROM (  
  15.   SELECT 
  16.   'HSET' as redis_cmd,  
  17.   'events_all_time' AS redis_key,  
  18.   action AS hkey,  
  19.   count AS hval  
  20.   FROM events_all_time  
  21. AS t 

ok, 用下面的命令執(zhí)行:

  1. mysql stats_db --skip-column-names --raw < events_to_redis.sql | redis-cli --pipe 

很重要的mysql參數說明:

--raw: 使mysql不轉換字段值中的換行符。

--skip-column-names: 使mysql輸出的每行中不包含列名。

[責任編輯:韓蕊]
Ruby
SAP分享了多年來對企業(yè)運營變革的洞察,以及SAP Business Suite powered by HANA如何推動企業(yè)在對業(yè)務影響最小的情況下向實時企業(yè)轉型,從而幫助企業(yè)實現更睿智的業(yè)務創(chuàng)新、更快速的業(yè)務流程和更簡化的業(yè)務交互。發(fā)布會現場,SAP公司宣布,中國最大的瓶裝水生產商——農夫山泉成為基于 SAP HANA 的SAP Business Suite在中國的首家客戶。
官方微信
weixin
精彩專題更多
存儲風云榜”是由DOIT傳媒主辦的年度大型活動;仡2014年,存儲作為IT系統(tǒng)架構中最基礎的元素,已經成為了推動信息產業(yè)發(fā)展的核心動力,存儲產業(yè)的發(fā)展邁向成熟,數據經濟的概念順勢而為的提出。
華為OceanStor V3系列存儲系統(tǒng)是面向企業(yè)級應用的新一代統(tǒng)一存儲產品。在功能、性能、效率、可靠性和易用性上都達到業(yè)界領先水平,很好的滿足了大型數據庫OLTP/OLAP、文件共享、云計算等各種應用下的數據存儲需求。
聯想攜ThinkServer+System+七大行業(yè)解決方案驚艷第十六屆高交會
 

公司簡介 | 媒體優(yōu)勢 | 廣告服務 | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯系我們 | 會員注冊 | 訂閱中心

Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術有限公司 版權所有.