Linux

lsof

命令格式 lsof [options] [name] options: 选项 name: 文件注意点：通常多个选项直接是 or 关系，即同时显示多个选项匹配到的内容，要使用 and 关系，添加选项 -a -r TIME 不断执行lsof命令，间隔时间为TIME -n: 不进行域名解析 -P: 显示端口为数字，不是端口名显示网络信息 -i [46][protocol][@hostname|hostaddr][:service|port] 46 4: IPv4 6: IPv6 protocol: TCP|UDP hostname|hostaddr: 主机名或地址 :service|port: 端口或者/etc/services中定义的，比如http, ftp

February 3, 2021 Read

iftop

安装 yum -y install iftop 使用启动 iftop 进入界面命令进入界面后的命令 ------------------ h: 进入帮助命令 L: 显示流量柱状图主机显示： t: TX流量 / RX流量 / 全部 n: 显示名称 / 不解析名称 s|d: 显示/隐藏源地址 | 显示/隐藏目的地址端口显示： p: 显示所有端口 N: 显示端口名称 / 不显示端口名称，显示数字 s|d 显示/隐藏源端口 | 显示/隐藏目的端口排序: 1/2/3: 按第1/2/3列排序 <: 按源地址名称排列 >: 按目的地址名称排列 o: 固定当前排列，不刷新通用选项： P: 暂停刷新 h: 帮助

December 18, 2020 Read

udev

创建一个脚本，当你插入的计算机插入设备时，触发脚本的执行参考文档技术|udev 入门：管理设备事件的 Linux 子系统 udev简介当你的计算机插入一个硬件设备，比如网卡，硬盘，U盘，鼠标，键盘，光驱等设备时，内核将给udevd一个udev事件，udevd根据/etc/udev/rules.d/*.rules，/run/udev/rules.d/*.rules, /usr/lib/udev/rule.d/*.rules中定义的规则执行相应的操作，比如给网卡命名，挂载硬盘，或执行一段自定义的脚本。本文介绍由udev事件触发执行自定义的脚本。比如插入U盘。当理解了udev的工作原理后，可以做很多事情，比如插入一个无线网卡后就安装相应的驱动，插入指定的U盘就执行备份操作。 udevadm命令 udevadm是一个管理udev的工具 udevadm info # Qurey sysfs or the udev database control # Control the udev daemon monitor # Listen to kernel and udev events 示例1：查看硬盘/dev/sdaudev信息 $ udevadm info -a -n /dev/sda ... KERNEL=="sda" SUBSYSTEM=="block" DRIVER=="" SUBSYSTEMS=="scsi" DRIVERS=="sd" ... 示例2：查看udev事件 $ udevadm monitor 示例3：当编写了一个新的udev规则，需要重新加载udev deamon $ udevadm control --reload udev事件触发脚本执行编写脚本 $ cat /opt/work/scripts/test.

November 11, 2020 Read

Linux内存管理

内存概述 Linux内核并不是将物理内存直接分配给进程，而是采用虚拟内存结构。每个进程拥有一个独立的虚拟内存空间和内存映射表(page table)，虚拟内存到物理内存的地址映射关系记录于page table中，当CPU执行指令时，若该指令是从内存中读取或写入数据时，就需要通过MMU(Memory Manage Unit)将内存virtual address替换为physical address 物理内存物理内存根据用途划分为不同的区域，比如：DAM, ZONE_HIGHMEM , ZONE_NORMAL , 每个区域又划分为多个page, page是物理内存进行分配的最小单位，每个page的大小是由CPU架构决定的，有些架构支持多种page size，可以在内核初始化时通过内核配置文件选择其中一种尺寸。默认采用4KB。若是多颗处理器的机器，内存类型可能是NUMA(Non-Uniform Memory Access)，CPU读取不同内存（是否与自己相邻，相邻的称为该CPU的local memory）的速度是不一样的。与之相对应的UMA读取所有内存速度一样。NUMA将内存划分为不同的bank，每个bank对应一个Node, 每个Node下面分不同区域。虚拟内存由于物理内存采用page作为基本单位进行分配，虚拟内存也采用page作为基本单位进行内存的分配。虚拟内存到物理内存的地址映射通过记录于page table中的映射条目完成，每个物理内存页可以映射多个虚拟内存页，这样可以实现不同进程的内存共享。采用虚拟内存架构可以带来以下好处：隔离用户进程和内核进程内存空间，隔离用户进程之间的内存空间：由于进程使用的时虚拟内存地址，虚拟地址所对应的物理地址是由MMU映射完成的，所以进程无法访问其他进程的内存空间，除非有意共享。硬件抽象：物理内存通常比较复杂，比如多块物理内存，甚至是NUMA，虚拟内存将物理内存的各种细节隐藏，对每个进程抽象出一个统一的虚拟地址空间。由于内核可以自由的修改虚拟内存到物理内存地址的映射，为了节省物理内存，内核并不及时将虚拟内存映射到物理内存，而是当进程真正使用到了才给其进行映射，使用多少映射多少，这就是延时分配和按需分配。其次如果物理内存紧张，内核可以将最近没使用，且使用频率不高的占用内存的数据换出到硬盘，使用到时再换出到内存。实现内存中的数据移动到硬盘交换分区中实现内存区域访问权限控制实现物理内存共享，将物理内存page映射到多个进程虚拟地址空间中 MMU MMU(Memory Manage Unit)是CPU和内存之间的一块硬件，用于virtual-memory-address 到 physical-memory-address的转换，MMU不但实现地址转换，还实现内存权限控制，管理TLB缓存等为了加快虚拟地址到物理地址的映射速度，CPU使用TLB缓存，TLB访问速度介于CPU和CPU缓存之间，TLB缓存记录了最近的内存地址映射条目，CPU首先查找TLB中是否有映射条目，没有才取查询内存中的page table。虚拟地址空间 Linux中，不仅是用户空间进程，内核也使用虚拟地址，虚拟地址空间被划分为内核和用户空间，虚拟地址包括以下三部分：内核空间 Kernel Logical Address Kernel Virtual Address

September 21, 2020 Read

process_capabilities

capabilities概述传统的UNIX系统将进程分为两类： provileged特权进程：effective user ID是0的进程，内核对此类进程跳过所有权限检查，即有权限执行任何操作。 unprivileged非特权进程：effective user ID不是0的进程，内核对此类进程进行全面权限检查，根据effective UID, effective GID, supplementary grop list决定是否有权限执行某项操作。传统UNIX对于普通进程执行特权操作就必须使进程的effective user ID为0(通过set-user-ID)，如此进程就拥有了所有特权，若进程执行非法或意外操作将导致严重破坏。为了安全Linux-kernel-2.2后将特权(以前属于effective user ID = 0的)拆分为不同的细小单元。一个单元只拥有一部分特权。这些单元就是capabilities，其实capabilities是属于线程的特性，也就是可以给线程分配不同的capability。 capabilites 列表 capability 名称描述 CAP_AUDIT_CONTROL 启用和禁用内核审计；改变审计过滤规则；检索审计状态和过滤规则 CAP_AUDIT_READ 允许通过 multicast netlink 套接字读取审计日志 CAP_AUDIT_WRITE 将记录写入内核审计日志 CAP_BLOCK_SUSPEND 使用可以阻止系统挂起的特性 CAP_CHOWN 修改文件所有者的权限 CAP_DAC_OVERRIDE 忽略文件的 DAC 访问限制 CAP_DAC_READ_SEARCH 忽略文件读及目录搜索的 DAC 访问限制 CAP_FOWNER 忽略文件属主 ID 必须和进程用户 ID 相匹配的限制 CAP_FSETID 允许设置文件的 setuid 位 CAP_IPC_LOCK 允许锁定共享内存片段 CAP_IPC_OWNER 忽略 IPC 所有权检查 CAP_KILL 允许对不属于自己的进程发送信号 CAP_LEASE 允许修改文件锁的 FL_LEASE 标志 CAP_LINUX_IMMUTABLE 允许修改文件的 IMMUTABLE 和 APPEND 属性标志 CAP_MAC_ADMIN 允许 MAC 配置或状态更改 CAP_MAC_OVERRIDE 忽略文件的 DAC 访问限制 CAP_MKNOD 允许使用 mknod() 系统调用 CAP_NET_ADMIN 允许执行网络管理任务 CAP_NET_BIND_SERVICE 允许绑定到小于 1024 的端口 CAP_NET_BROADCAST 允许网络广播和多播访问 CAP_NET_RAW 允许使用原始套接字 CAP_SETGID 允许改变进程的 GID CAP_SETFCAP 允许为文件设置任意的 capabilities CAP_SETPCAP 参考 capabilities man page CAP_SETUID 允许改变进程的 UID CAP_SYS_ADMIN 允许执行系统管理任务，如加载或卸载文件系统、设置磁盘配额等 CAP_SYS_BOOT 允许重新启动系统 CAP_SYS_CHROOT 允许使用 chroot() 系统调用 CAP_SYS_MODULE 允许插入和删除内核模块 CAP_SYS_NICE 允许提升优先级及设置其他进程的优先级 CAP_SYS_PACCT 允许执行进程的 BSD 式审计 CAP_SYS_PTRACE 允许跟踪任何进程 CAP_SYS_RAWIO 允许直接访问 /devport、/dev/mem、/dev/kmem 及原始块设备 CAP_SYS_RESOURCE 忽略资源限制 CAP_SYS_TIME 允许改变系统时钟 CAP_SYS_TTY_CONFIG 允许配置 TTY 设备 CAP_SYSLOG 允许使用 syslog() 系统调用 CAP_WAKE_ALARM 允许触发一些能唤醒系统的东西(比如 CLOCK_BOOTTIME_ALARM 计时器) 相关系统调用 cap_t cap_get_proc() // 获取当前进程的capalibities cap_t cap_get_pid(pid_t pid) // 获取指定进程的capalibities cap_t cap_from_text(char *buf_p) // 将文本转化为capablibities char *cap_to_text(cap_t caps, ssize_t *length_p) // 将capalibities转为文本 int cap_from_name(char *name, int *cap_p) // 将字符串表示的capability转为对应的数字 char *cap_to_name(int cap) // 将cap的数字转为文本 int cap_get_flag(cap_t cap_p, cap_value_t cap, cap_flag_t flag, cap_flag_value_t *value_p); // 设置能力，配合cap_set_proc()使用 int cap_set_proc(cap_t cap_p) //设置当前进程的能力 cap_t cap_init() // creates a capability state int cap_free() // 释放capability state内存获取、修改文件capability的命令获取文件capabilities

September 15, 2020 Read

进程凭证

每个进程都有一套用数字表示的useridentifiers(UIDs)和group identifiers(GIDs)，这些ID称为进程的凭证，决定了进程的权限。 UIDs和GIDs包含以下几种：实际用户ID：real user ID(RUID) 和实际组ID： real group ID(RGID) 有效用户ID：effective user ID(EUID) 和有效组ID： effective group ID(EGID) 保存set-user-ID：saved set-user-ID(SUID)和保存set-grop-ID：saved set-group-ID(SGID) 文件系统用户ID：filesystem user ID(FUID)和文件系统组ID：filesystem group ID(FGID) 附加组ID: supplementary group IDs FUID和FGID通常与EUID和EGID一样，后文不再对其单独叙述。 UIDs, GIDs作用 RUID(RGID): 实际用户(组)ID决定了进程所属的用户和组（可能被进程执行的程序指令改变）。CentOS发行版上，当我们登录bash(即进入bash进程提供的命令行终端）时，登录程序会读取/etc/passwd文件对应用户的第三、第四字段的值作为bash进程的RUID和RGID，我们在bash里面执行的各种命令的RUID和RGID都继承自父进程bash。同样，当创建新进程时，该进程的RUID, RGID也继承自其父进程。 EUID(EGID): 有效用户(组)ID决定了进程执行各种操作时所拥有的权限，通常EUDI等同于RUID，但以下两种情况会使其不一样：当可执行文件（程序或命令）设置了set-user-ID,set-group-ID，则执行该程序时，进程的有效用户(组)ID会被改变为可执行文件的属主ID(属组ID)。若可执行文件属主、属组ID是0(比如root)，则进程就间接拥有了超级权限。进程执行了setuid()之类的系统调用，改变了进程的有效用户ID。 SUID(SGID)：save set-user-ID的初值从EUID复制而来，通常配合set-user-ID标志位使用，设置了该标志位的程序启动后，进程的EUID为程序的属主ID，从而save set-user-ID的值也为程序属主ID，进程通过seteuid()等指令可以自由的将EUID设置为RUID或save set-user-ID。当进程需要执行特权操作时，将EUID设置为save set-user-ID而获得需要的权限，而执行普通操作时，将EUID设置为RUID，降低进程的权限，保证系统安全。

September 11, 2020 Read

ethtool

查询和修改以太网卡的配置信息（网卡驱动层）命令显示的信息来源于网卡驱动层，即TCP/IP协议的链路层语法 ethtool [OPTIONS] DEVNAME OPTIONS -a 查看网卡中接收模块RX、发送模块TX和Autonegotiate模块的状态：启动on 或停用off。 -A 修改网卡中接收模块RX、发送模块TX和Autonegotiate模块的状态：启动on 或停用off。 -c display the Coalesce information of the specified ethernet card。 -C Change the Coalesce setting of the specified ethernet card。 -g Display the rx/tx ring parameter information of the specified ethernet card。 -G change the rx/tx ring setting of the specified ethernet card。 -i 显示网卡驱动的信息，如驱动的名称、版本等。 -d 显示register dump信息, 部分网卡驱动不支持该选项。 -e 显示EEPROM dump信息，部分网卡驱动不支持该选项。 -E 修改网卡EEPROM byte。 -k 显示网卡Offload参数的状态：on 或 off，包括rx-checksumming、tx-checksumming等。 -K 修改网卡Offload参数的状态。 -p 用于区别不同ethX对应网卡的物理位置，常用的方法是使网卡port上的led不断的闪；N指示了网卡闪的持续时间，以秒为单位。 -r 如果auto-negotiation模块的状态为on，则restarts auto-negotiation。 -S 显示NIC- and driver-specific 的统计参数，如网卡接收/发送的字节数、接收/发送的广播包个数等。 -t 让网卡执行自我检测，有两种模式：offline or online。 -s 修改网卡的部分配置，包括网卡速度、单工/全双工模式、mac地址等。示例 ethtool devname ethtool -h|--help ethtool --version ethtool -a|--show-pause devname ethtool -A|--pause devname [autoneg on|off] [rx on|off] [tx on|off] ethtool -c|--show-coalesce devname ethtool -g|--show-ring devname ethtool -G|--set-ring devname [rx N] [rx-mini N] [rx-jumbo N] [tx N] ethtool -i|--driver devname ethtool -d|--register-dump devname [raw on|off] [hex on|off] [file name] ethtool -e|--eeprom-dump devname [raw on|off] [offset N] [length N] ethtool -E|--change-eeprom devname [magic N] [offset N] [length N] [value N] ethtool -k|--show-features|--show-offload devname ethtool -K|--features|--offload devname feature on|off .

September 9, 2020 Read

strace

strace 最简单的用法是，指定一个要执行的命令，命令结束后它也退出。在命令的执行过程中，strace会记录和解析命令进程的所有系统调用，和该进程收到的信号量。语法 strace [OPTIONS] COMMAND 示例 strace -o record.txt -f ls

September 8, 2020 Read

unshare

用于Linux Namespace，unshare 命令可以创建一个新的Namespace，然后执行指定的程序，并将新的进程加入到新创建的Namespace中。新的Namespace支持多少种隔离，由unshare选项决定语法 unshare [OPTIONS] COMMAND OPTIONS: -m, –mount : CLONE_NEWNS -u, –uts : CLONE_NEWUTS -i, –ipc : CLONE_NEWIPC -n, –net : CLONE_NEWNET -p, –pid : CLONE_NEWPID -U, –user : CLONE_NEWUSER -f, –fork : 创建一个子进程执行COMMAND，而不是取代当前的进程 -r, –map-root-user : 必须有-U选项，新命名空间中的用户为root –propagation slave|shared|private|unchanged : 挂载选项 –mount-proc : 新的Namespace中重新挂载proc，前提有-m选项。示例创建一个各命名空间都隔离的Namespace，行Namespace执行bash程序

September 8, 2020 Read

内存相关的系统调用

内存结构动态内存分配 void *malloc(int size); 动态分配内存，单位字节 #include <stdlib.h>#include <stdio.h>#include <unistd.h> int main(void) { char *p, ret; p = malloc(2048); if(!p) perror("malloc"); ret = execl("/usr/bin/ping", "ping", "www.baidu.com", NULL); if(ret == -1) perror("execl"); } void *calloc(int nr, int size); 为数组分配内存，且将分配到的内存置为0 #include <stdlib.h>#include <stdio.h> int main(void) { int *x, *y; /* 以下两种方法分配到的内存一样大 */ x = malloc(256*sizeof(int)); if(!x) { perror("malloc"); return -1; } /* 将分配到的内存置为0 */ y = calloc(256, sizeof(int)); if(!

September 7, 2020 Read

文件IO管理

文件读写 - 系统调用 #include <fnctl.h> int open(char *pathname, int flags); int open(char *pathname, int flags, mode_t mode); flags: O_RDONLY O_WRONLY O_RDWR O_CREAT O_DIRECT : Direct I/O, 不加此参数为 Bufferd I/O #include <fcntl.h>#include <stdio.h> int main(void) { int fd; fd = open("/opt/c/hello.txt", O_RDONLY); if (fd == -1) perror("Error"); else printf("%d", fd); } int create(const char *name, mode_t mode); #include <sys/types.h>#include <sys/stat.h>#include <fcntl.h>#include <stdio.h> int main(void) { int fd; fd = creat("/opt/c/1.

September 7, 2020 Read

文件和目录管理

文件及元数据基本属性 stat结构体 struct stat { dev_t st_dev; // ID of device containing file ino_t st_ino; // inode number mode_t st_mode; // permissions nlink_t st_nlink; // number of hard link uid_t st_uid; // user ID of owner gid_t st_gid; // group ID of owner dev_t st_rdev; // device ID off_t st_size; // total size in bytes blksize_t st_blksize; // blocksize for filesystem I/O blkcnt_t st_blocks; // number of blocks allocated time_t st_atime; // last access time time_t st_mtime; // last modification time time_t st_ctime; // last status change time } int stat(const char *path, struct stat *buf);

September 7, 2020 Read