数据库中间件TDDL调研笔记
前篇:《数据库中间件cobar调研笔记》13年底负责数据库中间件设计时的调研笔记,拿出来和大家分享,轻拍。一,TDDL是什么TDDL是Taobao Distribute Data Layer的简称淘宝一个基于客户端的数据库中间件产品基于JDBC规范,没有server,以client-jar的形式存在画外音:数据库中间件有基于服务端的,也有基于客户端的,TDDL属于后者;而cobar是一个中间层服务,使用mysql协议,属于前者。二,TDDL不支持什么SQL不支持各类

TDDL:来自淘宝的分布式数据层
淘宝根据自身业务需求研发了TDDL(Taobao Distributed Data Layer)框架,主要用于解决分库分表场景下的访问路由(持久层与数据访问层的配合)以及异构数据库之间的数据同步,它是一个基于集中式配置的JDBC DataSource实现,具有分库分表、Master/Salve、动态数据源配置等功能。就目前而言,许多大厂也在出一些更加优秀和社区支持更广泛的DAL层产品,比如Hibernate Shards、Ibatis-Sharding等。TDDL位于数据库和持久层之间,它直接与

Linux 30 个实例详解 TOP 命令
Linux中的top命令显示系统上正在运行的进程。它是系统管理员最重要的工具之一。被广泛用于监视服务器的负载。在本篇中,我们会探索top命令的细节。top命令是一个交互命令。在运行top的时候还可以运行很多命令。我们也会探索这些命令。(译注:不同发行版的top命令在各种细节有不同,如果发现不同时,请读你的帮助手册和命令内的帮助。)1. Top 命令输出:首先,让我们了解一下输出。top命令会显示系统的很多信息。我们需要理解不同部分输出的意义:默认运行时,top命令会显示如下输出:前几行水平显示了

开源项目 yapi 产品和技术总结
总结了下 yapi 接口管理开发过程中用到的技术和遇到的坑,分享给大家。yapi 是什么YApi 是一款多人协作的 api 管理平台,提供了 api 文档管理,api 数据 模拟(Mock),调试和自动化测试 api 等功能。主要解决前后端分离带来的以下痛点:接口文档不可靠。很多小伙伴管理接口文档,有使用wiki的,有word文档的,甚至还有用聊天软件口口相传的,后端接口对于前端就像一个黑盒子,经常遇到问题是接口因未知原因增加参数了,参数名变了,参数被删除了。mock 数据生成方案没有统一出口。

MySQL数据清理的需求分析和改进
昨天帮一个朋友看了MySQL数据清理的问题,感觉比较有意思,具体的实施这位朋友还在做,已经差不多了,我就发出来大家一起参考借鉴下。为了保证信息的敏感,里面的问题描述可能和真实情况不符,但是问题的处理方式是真实的。首先这位朋友在昨天下午反馈说他有一个表大小是近600G,现在需要清理数据,只保留近几个月的数据。按照这个量级,我发现这个问题应该不是很好解决,得非常谨慎才对。如果是通用的思路和方法,我建议是使用冷热数据分离的方式。大体有下面的几类玩法:exchange partition,这是亮点的特性

10分钟让你明白MySQL是如何利用索引的
一、前言在MySQL中进行SQL优化的时候,经常会在一些情况下,对MySQL能否利用索引有一些迷惑。譬如:1、MySQL 在遇到范围查询条件的时候就停止匹配了,那么到底是哪些范围条件?2、MySQL 在LIKE进行模糊匹配的时候又是如何利用索引的呢?3、MySQL 到底在怎么样的情况下能够利用索引进行排序?今天,我将会用一个模型,把这些问题都一一解答,让你对MySQL索引的使用不再畏惧。二、知识补充key_lenEXPLAIN执行计划中有一列 key_len 用于表示本次查询中,所选择的索引长度

MySQL该如何进行大数据量快速插入方法和语句优化?
MySQL大数据量快速插入方法和语句优化是本文我们主要要介绍的内容。INSERT 语句的速度插入一个记录需要的时间由下列因素组成,其中的数字表示大约比例:连接:(3)发送查询给服务器:(2)分析查询:(2)插入记录:(1x 记录大小)插入索引:(1x 索引)关闭:(1)这不考虑打开表的初始开销,每个并发运行的查询打开。表的大小以 logN (B 树)的速度减慢索引的插入。加快插入的一些方法如果同时从同一个客户端插入很多行,使用含多个 VALUE 的 INSERT 语句同时插入几行。这比使用单行

每秒1500万并发计算背后高性能、高可用实时搜索系统的架构演变
去哪儿网的定位是做全球最大的中文在线旅行网站。用户第一是我们的口号,也是我们的压力所在。本文从五个方面讲解去哪儿网高性能高可用机票实时搜索系统的演进之路:系统诉求。面临问题。设计思路。搜索框架。报价引擎。系统诉求去哪儿网的定位是做全球最大的中文在线旅行网站,对于机票业务来说,就是要把以下这些方面都做到最好:我们希望用户在我们网站搜索出来的价格是全网最低的。希望世界有的任何航线,都能在我们网站上搜出报价来。希望报价的更新是最实时的,用户根本感知不到价格变化。希望产品最大限度满足用户出行需求。希望用

大型网站架构演变和知识体系
之前也有一些介绍大型网站架构演变的文章,例如LiveJournal的、ebay的,都是非常值得参考的,不过感觉他们讲的更多的是每次演变的结果,而没有很详细的讲为什么需要做这样的演变,再加上近来感觉有不少同学都很难明白为什么一个网站需要那么复杂的技术,于是有了写这篇文章的想法,在这篇文章中将阐述一个普通的网站发展成大型网站过程中的一种较为典型的架构演变历程和所需掌握的知识体系,希望能给想从事互联网行业的同学一点初步的概念,文中的不对之处也请各位多给点建议,让本文真正起到抛砖引玉的效果。架构演变第一

大规模网站架构技术原理透析
跟朋友聊天的时候,发现很多人对大型网站系统架构非常感兴趣,我也很感兴趣,经常会在家里2台笔记本和1台服务器组成的局域网环境里作些实验。我进入IT行业的时间,大约是97,98年吧,那时候PC客户端软件最为盛行,做软件开发是一份很体面也很喜欢的工作。我从Win3.1上的VC1.5开始一直到VC6.0,然后转为.Net开发,基本上都是从事客户端软件开发。本人的性格是危机意识向来严重,所以深感互联网必将盛行,传统软件必将走向没落,于是转向了WEB开发。记得以前去某Portal网站应聘的时候,主考官就问我

友情链接