1、MySQL的復(fù)制原理以及流程
基本原理流程,3個(gè)線程以及之間的關(guān)聯(lián):
主:binlog線程——記錄下所有改變了數(shù)據(jù)庫數(shù)據(jù)的語句,放進(jìn)master上的binlog中;
從:io線程——在使用start slave 之后,負(fù)責(zé)從master上拉取 binlog 內(nèi)容,放進(jìn) 自己的relay log中;
從:sql執(zhí)行線程——執(zhí)行relay log中的語句;
2、MySQL中myisam與innodb的區(qū)別,至少5點(diǎn)
(1)、問5點(diǎn)不同:
1>.InnoDB支持事物,而MyISAM不支持事物
2>.InnoDB支持行級鎖,而MyISAM支持表級鎖
3>.InnoDB支持MVCC, 而MyISAM不支持
4>.InnoDB支持外鍵,而MyISAM不支持
5>.InnoDB不支持全文索引,而MyISAM支持。
(2)、innodb引擎的4大特性
插入緩沖(insert buffer),二次寫(double write),自適應(yīng)哈希索引(ahi),預(yù)讀(read ahead)
(3)、2者selectcount(*)哪個(gè)更快,為什么
myisam更快,因?yàn)閙yisam內(nèi)部維護(hù)了一個(gè)計(jì)數(shù)器,可以直接調(diào)取。
3、MySQL中varchar與char的區(qū)別以及varchar(50)中的50代表的涵義
(1)、varchar與char的區(qū)別
char是一種固定長度的類型,varchar則是一種可變長度的類型
(2)、varchar(50)中50的涵義
最多存放50個(gè)字符,varchar(50)和(200)存儲hello所占空間一樣,但后者在排序時(shí)會消耗更多內(nèi)存,因?yàn)閛rder by col采用fixed_length計(jì)算col長度(memory引擎也一樣)
(3)、int(20)中20的涵義
是指顯示字符的長度
但要加參數(shù)的,最大為255,比如它是記錄行數(shù)的id,插入10筆資料,它就顯示00000000001 ~~~00000000010,當(dāng)字符的位數(shù)超過11,它也只顯示11位,如果你沒有加那個(gè)讓它未滿11位就前面加0的參數(shù),它不會在前面加0
20表示最大顯示寬度為20,但仍占4字節(jié)存儲,存儲范圍不變;
(4)、mysql為什么這么設(shè)計(jì)
對大多數(shù)應(yīng)用沒有意義,只是規(guī)定一些工具用來顯示字符的個(gè)數(shù);int(1)和int(20)存儲和計(jì)算均一樣;
4、問了innodb的事務(wù)與日志的實(shí)現(xiàn)方式
(1)、有多少種日志;
錯(cuò)誤日志:記錄出錯(cuò)信息,也記錄一些警告信息或者正確的信息。
查詢?nèi)罩荆河涗浰袑?shù)據(jù)庫請求的信息,不論這些請求是否得到了正確的執(zhí)行。
慢查詢?nèi)罩荆涸O(shè)置一個(gè)閾值,將運(yùn)行時(shí)間超過該值的所有SQL語句都記錄到慢查詢的日志文件中。
二進(jìn)制日志:記錄對數(shù)據(jù)庫執(zhí)行更改的所有操作。
中繼日志:中繼日志也是二進(jìn)制日志,用來給slave 庫恢復(fù)
事務(wù)日志:重做日志redo和回滾日志undo
(2)、事物的4種隔離級別
隔離級別
讀未提交(RU)
讀已提交(RC)
可重復(fù)讀(RR)
串行
(3)、事務(wù)是如何通過日志來實(shí)現(xiàn)的,說得越深入越好。
事務(wù)日志是通過redo和innodb的存儲引擎日志緩沖(Innodb log buffer)來實(shí)現(xiàn)的,當(dāng)開始一個(gè)事務(wù)的時(shí)候,會記錄該事務(wù)的lsn(log sequence number)號; 當(dāng)事務(wù)執(zhí)行時(shí),會往InnoDB存儲引擎的日志的日志緩存里面插入事務(wù)日志;當(dāng)事務(wù)提交時(shí),必須將存儲引擎的日志緩沖寫入磁盤(通過innodb_flush_log_at_trx_commit來控制),也就是寫數(shù)據(jù)前,需要先寫日志。這種方式稱為“預(yù)寫日志方式”
5、MySQL binlog的幾種日志錄入格式以及區(qū)別
Statement:每一條會修改數(shù)據(jù)的sql都會記錄在binlog中。
優(yōu)點(diǎn):不需要記錄每一行的變化,減少了binlog日志量,節(jié)約了IO,提高性能。(相比row能節(jié)約多少性能 與日志量,這個(gè)取決于應(yīng)用的SQL情況,正常同一條記錄修改或者插入row格式所產(chǎn)生的日志量還小于Statement產(chǎn)生的日志量,但是考慮到如果帶條 件的update操作,以及整表刪除,alter表等操作,ROW格式會產(chǎn)生大量日志,因此在考慮是否使用ROW格式日志時(shí)應(yīng)該跟據(jù)應(yīng)用的實(shí)際情況,其所 產(chǎn)生的日志量會增加多少,以及帶來的IO性能問題。)
缺點(diǎn):由于記錄的只是執(zhí)行語句,為了這些語句能在slave上正確運(yùn)行,因此還必須記錄每條語句在執(zhí)行的時(shí)候的 一些相關(guān)信息,以保證所有語句能在slave得到和在master端執(zhí)行時(shí)候相同 的結(jié)果。另外mysql 的復(fù)制,像一些特定函數(shù)功能,slave可與master上要保持一致會有很多相關(guān)問題(如sleep()函數(shù), last_insert_id(),以及user-defined functions(udf)會出現(xiàn)問題).
使用以下函數(shù)的語句也無法被復(fù)制:
LOAD_FILe()
UUID()
USER()
FOUND_ROWS()
SYSDATE() (除非啟動時(shí)啟用了 --sysdate-is-now 選項(xiàng))
同時(shí)在INSERT …SELECT 會產(chǎn)生比 RBR 更多的行級鎖
Row:不記錄sql語句上下文相關(guān)信息,僅保存哪條記錄被修改。
優(yōu)點(diǎn): binlog中可以不記錄執(zhí)行的sql語句的上下文相關(guān)的信息,僅需要記錄那一條記錄被修改成什么了。所以rowlevel的日志內(nèi)容會非常清楚的記錄下 每一行數(shù)據(jù)修改的細(xì)節(jié)。而且不會出現(xiàn)某些特定情況下的存儲過程,或function,以及trigger的調(diào)用和觸發(fā)無法被正確復(fù)制的問題
缺點(diǎn):所有的執(zhí)行的語句當(dāng)記錄到日志中的時(shí)候,都將以每行記錄的修改來記錄,這樣可能會產(chǎn)生大量的日志內(nèi)容,比 如一條update語句,修改多條記錄,則binlog中每一條修改都會有記錄,這樣造成binlog日志量會很大,特別是當(dāng)執(zhí)行alter table之類的語句的時(shí)候,由于表結(jié)構(gòu)修改,每條記錄都發(fā)生改變,那么該表每一條記錄都會記錄到日志中。
Mixedlevel: 是以上兩種level的混合使用,一般的語句修改使用statment格式保存binlog,如一些函數(shù),statement無法完成主從復(fù)制的操作,則 采用row格式保存binlog,MySQL會根據(jù)執(zhí)行的每一條具體的sql語句來區(qū)分對待記錄的日志形式,也就是在Statement和Row之間選擇 一種.新版本的MySQL中隊(duì)row level模式也被做了優(yōu)化,并不是所有的修改都會以row level來記錄,像遇到表結(jié)構(gòu)變更的時(shí)候就會以statement模式來記錄。至于update或者delete等修改數(shù)據(jù)的語句,還是會記錄所有行的變更。
6、MySQL數(shù)據(jù)庫cpu飆升到500%的話他怎么處理?
1、列出所有進(jìn)程 show processlist,觀察所有進(jìn)程 ,多秒沒有狀態(tài)變化的(干掉)
2、查看超時(shí)日志或者錯(cuò)誤日志 (做了幾年開發(fā),一般會是查詢以及大批量的插入會導(dǎo)致cpu與i/o上漲,當(dāng)然不排除網(wǎng)絡(luò)狀態(tài)突然斷了,導(dǎo)致一個(gè)請求服務(wù)器只接受到一半,比如where子句或分頁子句沒有發(fā)送,,當(dāng)然的一次被坑經(jīng)歷)
7、sql優(yōu)化各種方法
(1)、explain出來的各種item的意義
select_type:表示查詢中每個(gè)select子句的類型
type:表示MySQL在表中找到所需行的方式,又稱“訪問類型”
possible_keys:指出MySQL能使用哪個(gè)索引在表中找到行,查詢涉及到的字段上若存在索引,則該索引將被列出,但不一定被查詢使用
key:顯示MySQL在查詢中實(shí)際使用的索引,若沒有使用索引,顯示為NULL
key_len:表示索引中使用的字節(jié)數(shù),可通過該列計(jì)算查詢中使用的索引的長度
ref:表示上述表的連接匹配條件,即哪些列或常量被用于查找索引列上的值
Extra:包含不適合在其他列中顯示但十分重要的額外信息
(2)、profile的意義以及使用場景
查詢到 SQL 會執(zhí)行多少時(shí)間, 并看出 CPU/Memory 使用量, 執(zhí)行過程中 Systemlock, Table lock 花多少時(shí)間等等
8、備份計(jì)劃,mysqldump以及xtranbackup的實(shí)現(xiàn)原理
(1)、備份計(jì)劃:
這里每個(gè)公司都不一樣,您別說那種1小時(shí)1全備什么的就行
(2)、備份恢復(fù)時(shí)間:
這里跟機(jī)器,尤其是硬盤的速率有關(guān)系,以下列舉幾個(gè)僅供參考
20G的2分鐘(mysqldump)
80G的30分鐘(mysqldump)
111G的30分鐘(mysqldump)
288G的3小時(shí)(xtra)
3T的4小時(shí)(xtra)
邏輯導(dǎo)入時(shí)間一般是備份時(shí)間的5倍以上
(3)、xtrabackup實(shí)現(xiàn)原理
在InnoDB內(nèi)部會維護(hù)一個(gè)redo日志文件,我們也可以叫做事務(wù)日志文件。事務(wù)日志會存儲每一個(gè)InnoDB表數(shù)據(jù)的記錄修改。當(dāng)InnoDB啟動時(shí),InnoDB會檢查數(shù)據(jù)文件和事務(wù)日志,并執(zhí)行兩個(gè)步驟:它應(yīng)用(前滾)已經(jīng)提交的事務(wù)日志到數(shù)據(jù)文件,并將修改過但沒有提交的數(shù)據(jù)進(jìn)行回滾操作。
9、mysqldump中備份出來的sql,如果我想sql文件中,一行只有一個(gè)insert….value()的話,怎么辦?如果備份需要帶上master的復(fù)制點(diǎn)信息怎么辦?
--skip-extended-insert
[root@helei-zhuanshu ~]# mysqldump -uroot -p helei --skip-extended-insert
Enter password:
KEY `idx_c1` (`c1`),
KEY `idx_c2` (`c2`)
) ENGINE=InnoDB AUTO_INCREMENT=51 DEFAULT CHARSET=latin1;
;
--
-- Dumping data for table `helei`
--
LOCK TABLES `helei` WRITE;
;
INSERT INTO `helei` VALUES (1,32,37,38,'2016-10-18 06:19:24','susususususususususususu');
INSERT INTO `helei` VALUES (2,37,46,21,'2016-10-18 06:19:24','susususususu');
INSERT INTO `helei` VALUES (3,21,5,14,'2016-10-18 06:19:24','susu');
10、500臺db,在最快時(shí)間之內(nèi)重啟
可以使用批量 ssh 工具 pssh 來對需要重啟的機(jī)器執(zhí)行重啟命令。 也可以使用 salt(前提是客戶端有安裝 salt)或者 ansible( ansible 只需要 ssh 免登通了就行)等多線程工具同時(shí)操作多臺服務(wù)器
11、innodb的讀寫參數(shù)優(yōu)化
(1)、讀取參數(shù)
global buffer pool以及 local buffer;
(2)、寫入?yún)?shù)
innodb_flush_log_at_trx_commit
innodb_buffer_pool_size
(3)、與IO相關(guān)的參數(shù)
innodb_write_io_threads = 8
innodb_read_io_threads = 8
innodb_thread_concurrency = 0
(4)、緩存參數(shù)以及緩存的適用場景。
query cache/query_cache_type
并不是所有表都適合使用query cache。造成query cache失效的原因主要是相應(yīng)的table發(fā)生了變更
第一個(gè):讀操作多的話看看比例,簡單來說,如果是用戶清單表,或者說是數(shù)據(jù)比例比較固定,比如說商品列表,是可以打開的,前提是這些庫比較集中,數(shù)據(jù)庫中的實(shí)務(wù)比較小。
第二個(gè):我們“行騙”的時(shí)候,比如說我們競標(biāo)的時(shí)候壓測,把query cache打開,還是能收到qps激增的效果,當(dāng)然前提示前端的連接池什么的都配置一樣。大部分情況下如果寫入的居多,訪問量并不多,那么就不要打開,例如社交網(wǎng)站的,10%的人產(chǎn)生內(nèi)容,其余的90%都在消費(fèi),打開還是效果很好的,但是你如果是qq消息,或者聊天,那就很要命。
第三個(gè):小網(wǎng)站或者沒有高并發(fā)的無所謂,高并發(fā)下,會看到 很多 qcache 鎖 等待,所以一般高并發(fā)下,不建議打開query cache
12、你是如何監(jiān)控你們的數(shù)據(jù)庫的?你們的慢日志都是怎么查詢的?
監(jiān)控的工具有很多,例如zabbix,lepus,我這里用的是lepus
13、你是否做過主從一致性校驗(yàn),如果有,怎么做的,如果沒有,你打算怎么做?
主從一致性校驗(yàn)有多種工具 例如checksum、mysqldiff、pt-table-checksum等
14、你們數(shù)據(jù)庫是否支持emoji表情,如果不支持,如何操作?
如果是utf8字符集的話,需要升級至utf8_mb4方可支持
15、你是如何維護(hù)數(shù)據(jù)庫的數(shù)據(jù)字典的?
這個(gè)大家維護(hù)的方法都不同,我一般是直接在生產(chǎn)庫進(jìn)行注釋,利用工具導(dǎo)出成excel方便流通。
16、表中有大字段X(例如:text類型),且字段X不會經(jīng)常更新,以讀為為主,請問拆帶來的問題:連接消耗 + 存儲拆分空間;不拆可能帶來的問題:查詢性能;
1、如果能容忍拆分帶來的空間問題,拆的話最好和經(jīng)常要查詢的表的主鍵在物理結(jié)構(gòu)上放置在一起(分區(qū)) 順序IO,減少連接消耗,最后這是一個(gè)文本列再加上一個(gè)全文索引來盡量抵消連接消耗
2、如果能容忍不拆分帶來的查詢性能損失的話:上面的方案在某個(gè)極致條件下肯定會出現(xiàn)問題,那么不拆就是最好的選擇
17、MySQL中InnoDB引擎的行鎖是通過加在什么上完成(或稱實(shí)現(xiàn))的?為什么是這樣子的?
InnoDB是基于索引來完成行鎖
例: select * from tab_with_index where id = 1 for update;
for update 可以根據(jù)條件來完成行鎖鎖定,并且 id 是有索引鍵的列,
如果 id 不是索引鍵那么InnoDB將完成表鎖,,并發(fā)將無從談起
18、開放性問題:據(jù)說是騰訊的一個(gè)6億的表a,一個(gè)3億的表b,通過外間tid關(guān)聯(lián),你如何最快的查詢出滿足條件的第50000到第50200中的這200條數(shù)據(jù)記錄。
1、如果A表TID是自增長,并且是連續(xù)的,B表的ID為索引
select * from a,b where a.tid = b.id and a.tid>500000 limit 200;
2、如果A表的TID不是連續(xù)的,那么就需要使用覆蓋索引.TID要么是主鍵,要么是輔助索引,B表ID也需要有索引。
select * from b , (select tid from a limit 50000,200) a where b.id = a .tid;
19、什么是存儲過程?有哪些優(yōu)缺點(diǎn)?
存儲過程是一些預(yù)編譯的SQL語句。
1、更加直白的理解:存儲過程可以說是一個(gè)記錄集,它是由一些T-SQL語句組成的代碼塊,這些T-SQL語句代碼像一個(gè)方法一樣實(shí)現(xiàn)一些功能(對單表或多表的增刪改查),然后再給這個(gè)代碼塊取一個(gè)名字,在用到這個(gè)功能的時(shí)候調(diào)用他就行了。
2、存儲過程是一個(gè)預(yù)編譯的代碼塊,執(zhí)行效率比較高,一個(gè)存儲過程替代大量T_SQL語句 ,可以降低網(wǎng)絡(luò)通信量,提高通信速率,可以一定程度上確保數(shù)據(jù)安全
20、索引是什么?有什么作用以及優(yōu)缺點(diǎn)?
1、索引是對數(shù)據(jù)庫表中一或多個(gè)列的值進(jìn)行排序的結(jié)構(gòu),是幫助MySQL高效獲取數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)
2、索引就是加快檢索表中數(shù)據(jù)的方法。數(shù)據(jù)庫的索引類似于書籍的索引。在書籍中,索引允許用戶不必翻閱完整個(gè)書就能迅速地找到所需要的信息。在數(shù)據(jù)庫中,索引也允許數(shù)據(jù)庫程序迅速地找到表中的數(shù)據(jù),而不必掃描整個(gè)數(shù)據(jù)庫。
MySQL數(shù)據(jù)庫幾個(gè)基本的索引類型:普通索引、唯一索引、主鍵索引、全文索引
1、索引加快數(shù)據(jù)庫的檢索速度
2、索引降低了插入、刪除、修改等維護(hù)任務(wù)的速度
3、唯一索引可以確保每一行數(shù)據(jù)的唯一性
4、通過使用索引,可以在查詢的過程中使用優(yōu)化隱藏器,提高系統(tǒng)的性能
5、索引需要占物理和數(shù)據(jù)空間
21、什么是事務(wù)?
事務(wù)(Transaction)是并發(fā)控制的基本單位。所謂的事務(wù),它是一個(gè)操作序列,這些操作要么都執(zhí)行,要么都不執(zhí)行,它是一個(gè)不可分割的工作單位。事務(wù)是數(shù)據(jù)庫維護(hù)數(shù)據(jù)一致性的單位,在每個(gè)事務(wù)結(jié)束時(shí),都能保持?jǐn)?shù)據(jù)一致性。
22、使用索引查詢一定能提高查詢的性能嗎?為什么通常,通過索引查詢數(shù)據(jù)比全表掃描要快.但是我們也必須注意到它的代價(jià)。
1、索引需要空間來存儲,也需要定期維護(hù), 每當(dāng)有記錄在表中增減或索引列被修改時(shí),索引本身也會被修改. 這意味著每條記錄的INSERT,DELETE,UPDATE將為此多付出4,5 次的磁盤I/O. 因?yàn)樗饕枰~外的存儲空間和處理,那些不必要的索引反而會使查詢反應(yīng)時(shí)間變慢.使用索引查詢不一定能提高查詢性能,索引范圍查詢(INDEX RANGE SCAN)適用于兩種情況:
2、基于一個(gè)范圍的檢索,一般查詢返回結(jié)果集小于表中記錄數(shù)的30%
3、基于非唯一性索引的檢索
23、簡單說一說drop、delete與truncate的區(qū)SQL中的drop、delete、truncate都表示刪除,但是三者有一些差別
1、delete和truncate只刪除表的數(shù)據(jù)不刪除表的結(jié)構(gòu)
2、速度,一般來說: drop> truncate >delete
3、delete語句是dml,這個(gè)操作會放到rollback segement中,事務(wù)提交之后才生效;
4、如果有相應(yīng)的trigger,執(zhí)行的時(shí)候?qū)⒈挥|發(fā). truncate,drop是ddl, 操作立即生效,原數(shù)據(jù)不放到rollback segment中,不能回滾. 操作不觸發(fā)trigger.
24、drop、delete與truncate分別在什么場景之下使用?
1、不再需要一張表的時(shí)候,用drop
2、想刪除部分?jǐn)?shù)據(jù)行時(shí)候,用delete,并且?guī)蟱here子句
3、保留表而刪除所有數(shù)據(jù)的時(shí)候用truncate
25、超鍵、候選鍵、主鍵、外鍵分別是什么?
1、超鍵:在關(guān)系中能唯一標(biāo)識元組的屬性集稱為關(guān)系模式的超鍵。一個(gè)屬性可以為作為一個(gè)超鍵,多個(gè)屬性組合在一起也可以作為一個(gè)超鍵。超鍵包含候選鍵和主鍵。
2、候選鍵:是最小超鍵,即沒有冗余元素的超鍵。
3、主鍵:數(shù)據(jù)庫表中對儲存數(shù)據(jù)對象予以唯一和完整標(biāo)識的數(shù)據(jù)列或?qū)傩缘慕M合。一個(gè)數(shù)據(jù)列只能有一個(gè)主鍵,且主鍵的取值不能缺失,即不能為空值(Null)。
4、外鍵:在一個(gè)表中存在的另一個(gè)表的主鍵稱此表的外鍵。
26、什么是視圖?以及視圖的使用場景有哪些?
1、視圖是一種虛擬的表,具有和物理表相同的功能??梢詫σ晥D進(jìn)行增,改,查,操作,試圖通常是有一個(gè)表或者多個(gè)表的行或列的子集。對視圖的修改不影響基本表。它使得我們獲取數(shù)據(jù)更容易,相比多表查詢。
2、只暴露部分字段給訪問者,所以就建一個(gè)虛表,就是視圖。
3、查詢的數(shù)據(jù)來源于不同的表,而查詢者希望以統(tǒng)一的方式查詢,這樣也可以建立一個(gè)視圖,把多個(gè)表查詢結(jié)果聯(lián)合起來,查詢者只需要直接從視圖中獲取數(shù)據(jù),不必考慮數(shù)據(jù)來源于不同表所帶來的差異。
27、說一說三個(gè)范式。
第一范式(1NF):數(shù)據(jù)庫表中的字段都是單一屬性的,不可再分。這個(gè)單一屬性由基本類型構(gòu)成,包括整型、實(shí)數(shù)、字符型、邏輯型、日期型等。
第二范式(2NF):數(shù)據(jù)庫表中不存在非關(guān)鍵字段對任一候選關(guān)鍵字段的部分函數(shù)依賴(部分函數(shù)依賴指的是存在組合關(guān)鍵字中的某些字段決定非關(guān)鍵字段的情況),也即所有非關(guān)鍵字段都完全依賴于任意一組候選關(guān)鍵字。
第三范式(3NF):在第二范式的基礎(chǔ)上,數(shù)據(jù)表中如果不存在非關(guān)鍵字段對任一候選關(guān)鍵字段的傳遞函數(shù)依賴則符合第三范式。所謂傳遞函數(shù)依賴,指的是如 果存在"A → B → C"的決定關(guān)系,則C傳遞函數(shù)依賴于A。因此,滿足第三范式的數(shù)據(jù)庫表應(yīng)該不存在如下依賴關(guān)系: 關(guān)鍵字段 → 非關(guān)鍵字段 x → 非關(guān)鍵字段y
28、數(shù)據(jù)庫的樂觀鎖和悲觀鎖是什么?
數(shù)據(jù)庫管理系統(tǒng)(DBMS)中的并發(fā)控制的任務(wù)是確保在多個(gè)事務(wù)同時(shí)存取數(shù)據(jù)庫中同一數(shù)據(jù)時(shí)不破壞事務(wù)的隔離性和統(tǒng)一性以及數(shù)據(jù)庫的統(tǒng)一性。樂觀并發(fā)控制(樂觀鎖)和悲觀并發(fā)控制(悲觀鎖)是并發(fā)控制主要采用的技術(shù)手段。
悲觀鎖:假定會發(fā)生并發(fā)沖突,屏蔽一切可能違反數(shù)據(jù)完整性的操作
樂觀鎖:假設(shè)不會發(fā)生并發(fā)沖突,只在提交操作時(shí)檢查是否違反數(shù)據(jù)完整性。
更多java面試題請點(diǎn)擊:http://www.bjpowernode.com/tutorial_baseinterviewquestions/