本文是第一个开源项目研究系列，第一个开源项目选择的是brpc，brpc是百度内最常使用的工业级RPC框架, 有1,000,000+个实例(不包含client)和上千种多种服务, 在百度内叫做"baidu-rpc". 目前只开源C++版本。

ps:为啥选择brpc，因为算法想要真正在实际中运用，我们还是得要一个高性能实现，而brpc能帮助我们快速解决网络交互问题，让我们去实现算法逻辑。

在在线系统中，日志是非常重要的功能，能帮助我们分析、定位问题，下面会介绍如果让我们自己设计一个高性能的日志系统，我们应该怎么做。

日志

日志我们平时都用，如果自己来设计一个日志框架，需要从哪些角度考虑呢？

我们先来考虑我们使用日志的话，他应该有哪些最基本的功能？

场景：程序在运行过程中，首先发出要记录的信息，然后通过约定格式化这些信息，最后再将其输出到目的地，所以一个日志框架需要有的基本功能有：

• 日志记录
• 格式化
• 输出地

日志记录我们可以看做是一个前端api，而输出地则是后端，两者之间经过一个格式化组件进行数据的规范、传输。另外在分布式系统中，日志的输出地只有一个，那就是本地磁盘。

在日志框架的整体设计上，可以抽象为一个多生产者、单消费者的模型。前端通过api不断写入日志，后端有一个消费者对日志进行输出，而目的就是本次磁盘。

如果输出地是磁盘，那就必须要有日志文件滚动功能，滚动的条件一般有两个：

1. 日志大小（每1G）

2. 时间（每隔1小时）

另外，如果我们要写磁盘，那io就是关键，下面介绍下深入介绍下Linux 文件 io。

Linux 标准io

要想了解fwrite，最好的方式就是进行调试，下面是动手环节，大家可以按照下面的步骤，自己动手实验的，便于理解，有任何问题都可以留言，尽量回答。

下面记录下如何在开发机器上调试glibc代码

因为在mac上开发，所以首先得有个Ubuntu镜像。

1. docker run -it --name="gpp" ubuntu /bin/bash

2. apt-get unpdate && apt-get install -y ubuntu-dev-tools vim

3. docker commit gpp zhuanxuhit/ubuntu:v1

此处安装 ubuntu-dev-tools 开发者工具。一劳永逸

参考文档 跟我一起学Docker——搭建编译环境篇

下一步是启动了，启动过程中，因为需要运行gdb，需要在启动时加上--privileged=true参数，具体可以看：

dockercontainer下gdb无法正常工作的解决办法

docker run --privileged=true -it -v ~/dev/share:/home/binss --name="gpp" ubuntu /bin/bash

下面是一段简单的代码：

gcc -g3 -O0 -gdwarf-4 -ggdb test.c -o test

运行出core，我们通过ulimit -c unlimited在当前文件夹下产生core文件，具体可以看 Linux 下如何产生core文件（core dump设置）

发现是没有temp文件导致的，创建touch temp后继续运行。

gdb a.out

> l

> b 5

> r

> s

出现错误

_IO_new_fopen (filename=0x5555555547e6 "./temp", mode=0x5555555547e4 "r") at iofopen.c:88

88 iofopen.c: No such file or directory.

这是需要我们去下载glibc源文件

root@28dcf784e1be:/home/binss# ldd a.out

linux-vdso.so.1 (0x00007ffd7b3c1000)

libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f63d95b1000)

/lib64/ld-linux-x86-64.so.2 (0x00007f63d9ba4000)

依赖的是 libc.so.6

直接查看 /lib/x86_64-linux-gnu/libc.so.6

root@28dcf784e1be:/home/binss# ll /lib/x86_64-linux-gnu/libc.so.6

lrwxrwxrwx 1 root root 12 Apr 16 20:14 /lib/x86_64-linux-gnu/libc.so.6 -> libc-2.27.so*

执行 libc-2.27.so

接着我们下载libc的源代码，需要修改下source.list

具体的源可以查看：https://mirror.tuna.tsinghua.edu.cn/help/ubuntu/，注意打开deb-source，下载源代码。

安装完代码后，我们就可以开始调试了。通过

(gdb) directory /home/binss/glibc-2.27/libio

设置好源代码搜索目录，下面开始调试。

通过gdb可以直接定位到fwrite的源码，源码如下，位于./libio/iofwrite.c。

设置gdb选项 set print pretty on

先到了iofwrite.c:31

下面我们看下gdb如任调试宏定义，怎么在gdb中调试宏，可以参照https://sourceware.org/gdb/onlinedocs/gdb/Macros.html

gcc -g3 -O0 -gdwarf-2 test.c

上面我们怎么知道gdb调试的时候会去加载glibc的debug版本呢？

通过设置 verbose on可以看到gdb会去自动加载符号进来。

最终 _IO_sputn 被化简为：IO_validate_vtable（const struct _IO_jump_t）-> __xsputn(fp, buf, request)

__xsputn 是 _IO_jump_t 中的指针

(gdb) s

_IO_new_file_xsputn (f=0x555555756260, data=0x7fffffffe67b, n=12) at fileops.c:1220

1220 {

整个调用栈

将新申请到的内存设置到f->_IO_buf_base 中, 最终执行完后，fp中内存数据，我们将数据从用户空间拷贝到了glibc分配的空间中。

上面我们可以看到，我们将数据是写入到了glibc的缓冲区中，下面通过fflush，将其写入到内核缓冲区中。调用函数fflush，gdb调试：

现在调用链到了系统调用了

系统调用部分，先上一张图：

记得大学那块，自己做嵌入式开发，就是看好多Linux驱动程序编写。这块有机会以后专门开个专题来介绍的。

现在总结下目前的进展，我们此次调试的目的是想看下fwrite是怎么一步一步将数据写入磁盘的，我们发现要想写入磁盘，首先我们的数据会从用户缓冲区中被拷贝到glibc的缓冲区，然后glibc再进行系统调用，将数据写入到内核缓冲区，然后设备驱动程序再将数据从内核缓冲区写到设备缓冲区，整个过程可以看下图：

图片来自文章：漫谈linux文件IO，文中很好的阐述了整个io过程，推荐阅读。

总结

本文介绍了程序中重要的日志功能，为了能实现高性能日志，我们去分析了底层写入磁盘到底发生了什么，发现其中一层层的数据拷贝，这些完全都是可以优化的，所以下一篇会去介绍目前高性能库的做法，欢迎持续关注。