基础 极致 分享
ulimit限制之nproc问题
褚霸 发表于 2013-03-12 14:54:13
ulimit
前两天微博上的@王关胜同学问了个问题：#ulimit问题# 关于nproc设置：centos6，内核版本是2.6.32. 默认情况下，ulimit -u的值为1024，是/etc/security/limits.d/90-nproc.conf的值限制;注释掉这个限制后，值为95044;手工设置90-nproc.conf文件，值为新设置的值。想请 问这个95044是怎么来的？这个问题挺有意思的 …阅读全文
Linux下如何知道文件被那个进程写
褚霸 发表于 2013-03-12 14:52:30
linuxshell
晚上朔海同学问：一个文件正在被进程写 我想查看这个进程 文件一直在增大 找不到谁在写 使用lsof也没找到这个问题挺有普遍性的，解决方法应该很多，这里我给大家提个比较直观的方法。linux下每个文件都会在某个块设备上存放，当然也都有相应的inode, 那么透过vfs.write我们就可以知道谁在不停的写入特定的设备上的inode。幸运的是systemtap的安装包里带了inodewatch …阅读全文
大话Sheepdog 2 – 对象缓存
泰 来 发表于 2013-02-04 11:07:27
缓存
分布式存储系统的性能一直都是众矢之的，主要是因为数据甚至元数据的存取都添加了网络层的开销。对于多拷贝的对象存储来说，甚至还有复杂的逻辑来保持各个拷贝的一致性。对于拷贝的读写，读写的优化通常是不可兼得。比如通过最终一致性(eventual consistency)优化了写，但是读的时候需要读取大于一份的拷贝，来判断是否是最新的。这些问题都导致了性能的低下。很多POSIX文件的操作都是元数据操作的 …阅读全文
大话Sheepdog 1 – 智能节点管理
泰 来 发表于 2013-01-30 12:28:22
Sheepdog是开源的分布式块存储项目，具有零配置、Thin-Provision、高可靠、智能节点管理、容量线性扩展、虚拟机感知(底层支持冷热迁移和快照、克隆等)、支持计算与存储混合架构的特点等，可扩展到上千级别的物理节点。开源软件如QEMU、Libvirt以及Openstack都很好的集成了对Sheepdog的支持。本系列将手把手让读者体验Sheepdog的各种功能，并解释背后的工作机制和原 …阅读全文
使用Sheepdog体验Openstack的弹性块服务
泰 来 发表于 2013-01-29 11:23:55
Sheepdog[1]是开源的分布式块存储项目，具有零配置、Thin-Provision、高可靠、智能节点管理、容量线性扩展、虚拟机感知(底层支持冷热迁移和快照、克隆等)、支持计算与存储混合架构的特点等，可扩展到上千级别的物理节点。Openstack[2]是亚马逊的S3(Simple Storage Service)，弹性计算EC2(Elastic Computing)，弹性块服务EBS(Ela …阅读全文
Tips of Linux C programming
千石 发表于 2012-12-22 12:57:47
linuxC
1. 优雅地使用链表链表是编程中经常要用到的数据结构，结构体描述时分为数据域和指针域，本没有什么好讲。但有没有想过教科书上的这种方式有什么问题？通过这种方式定义和使用链表，对于不同的链表类型，都要定义各自的链表结构，繁琐的很。linux kernel中链表的用法才应该是教科书中出现的。基本思想：在Linux内核链表中，不是在链表结构中包含数据，而是在数据结构中包 …阅读全文
使用gdb调试运行时的程序小技巧
士豪 发表于 2012-10-15 04:32:18
调试
原创文章，欢迎转载。转载请注明：转载自淘宝核心系统团队博客，谢谢！原文链接地址：使用gdb调试运行时的程序小技巧下面介绍我调试时经常遇到的三种问题，如果大家也有类似的问题交流一下解决方法：情景1：在不中止程序服务的情况下，怎么调试正在运行时的程序情景2：需要同时看几个变量的值或者批量查看多个core文件的堆栈信息怎么办情景3：遇到需要查看、队列、链表、树、堆等数据结构里的变量怎么办1 …阅读全文
近期Imgsrc一处内存泄露问题的查找和解决
明俨 发表于 2012-10-14 12:21:50
内存泄露调试
最近一直在查我们的imgsrc的内存泄露问题，事实上都是其所使用的ImageMagick库的bug。前些天又查了一个bug，涉及面较广，觉得有必要总结一下。简要说明一下，imgsrc上部署的是apache模块，cdn通过其来访问tfs，并且做一些图像处理工作。有内存泄露是在线上发现的，内存不停的在涨。要找到问题所在，首先需要能够在线下重现，知道在什么情况下会泄露。线上系统当然不可能用valgri …阅读全文
libev ev_io源码分析
士豪 发表于 2012-10-07 08:23:14
最近用libev做项目，在使用libev时遇到了一些问题，最近看了libev的代码，整理了一部分libev实现。1. ev_watcher和ev_loopev_watcher:libev中所有事件的基础类型ev_watcher，所有的事件都可以通过(W)watcher转换成ev_watcher，大写的W在libev定义的是ev_watcher *。抽象出ev_watcher作用是所有的wat …阅读全文
Transfer 2.0 介绍
丁奇 发表于 2012-09-03 10:22:23
事务mysql
Transfer是一个主从多线程同步工具，直接patch在MySQL中。2011年开发完成。于去年的12.12上线，并撑住高峰期主从，保证从库无延迟，使得应用能够直接从从库上读数据。 对Transfer1.0背景有兴趣的同学可以看我以前的一篇博客。新功能 Transfer第一版本存在两个可改进的点：单表并发和事务支持。a) Transfer2.0支持单表并 …阅读全文
linux异步IO编程实例分析
千石 发表于 2012-09-02 15:01:40
epollNIO
在Direct IO模式下，异步是非常有必要的（因为绕过了pagecache，直接和磁盘交互）。linux Native AIO正是基于这种场景设计的，具体的介绍见：KernelAsynchronousI/O (AIO) SupportforLinux。下面我们就来分析一下AIO编程的相关知识。 阻塞模式下的IO过程如下：int fd = open(const char *pat …阅读全文
mysql.taobao.org对外开放
褚霸 发表于 2012-07-26 10:45:52
mysql开源
我们的mysql官方网站在这里:, 正式对外开放了.目前介绍了下我们目前在做的工作, 研究方向,以及部分资料可以下载, 后续我们会提供经过生产系统验证的mysql binary下载, 敬请期待!截屏如下:玩得开心! …阅读全文
不要等待机会，而要创造机会。
