字节序

What · 是什么

字节序(Byte Order / Endianness)描述多字节对象在内存中的字节排列方式：小端序(Little Endian)从最低有效字节到最高有效字节存放，大端序(Big Endian)相反。例如 0x01234567 小端存 67 45 23 01，大端存 01 23 45 67。网络协议规定统一使用网络字节序(大端)；跨平台二进制文件/协议/内存映射(如 mmap 解析)若不转换字节序会产生错误数据。

Why · 为什么

How · 实现

伪代码

# 判断本机字节序(小端返回 'little')
import sys
print(sys.byteorder)   # 'little' 或 'big'

# 整数 <-> 字节转换
import struct
# 小端编码
packed_le = struct.pack('<I', 0x01234567)
# 大端编码(网络字节序)
packed_be = struct.pack('>I', 0x01234567)

# 手工验证: 小端 67 45 23 01, 大端 01 23 45 67

Python 实现

import struct
import sys


def machine_endianness():
    """返回本机字节序: 'little' 或 'big'。"""
    return sys.byteorder


def little_endian_bytes(value):
    """将 int 编码为小端字节序列(演示)。"""
    return struct.pack('<I', value)


def big_endian_bytes(value):
    """将 int 编码为大端字节序列(网络字节序)。"""
    return struct.pack('>I', value)


def parse_binary_file(path, endian='<'):
    """按指定字节序读取二进制文件中的整数序列(演示)。
    endian: '<' 小端, '>' 大端。
    """
    with open(path, 'rb') as f:
        data = f.read()
    nums = []
    for i in range(0, len(data) - 3, 4):
        nums.append(struct.unpack(endian + 'I', data[i:i + 4])[0])
    return nums


def swap_endian32(x):
    """手工反转 32 位整数字节序(小端<->大端)。"""
    return ((x & 0x000000FF) << 24) | ((x & 0x0000FF00) << 8) | \
           ((x & 0x00FF0000) >> 8) | ((x & 0xFF000000) >> 24)


if __name__ == '__main__':
    val = 0x01234567
    le = little_endian_bytes(val)
    be = big_endian_bytes(val)

    assert machine_endianness() in ('little', 'big')
    # 标准验证: 小端序列首字节=低位 0x67, 大端首字节=高位 0x01
    assert le == b'\x67\x45\x23\x01', le
    assert be == b'\x01\x23\x45\x67', be

    # 双端互相转换一致
    assert struct.unpack('<I', le)[0] == val
    assert struct.unpack('>I', be)[0] == val
    assert swap_endian32(val) == 0x67452301
    assert swap_endian32(0x67452301) == val
    assert swap_endian32(swap_endian32(val)) == val

    # 字节序说明
    print('machine endian:', machine_endianness())
    print('0x%08X little-endian bytes: %s' % (val, le.hex()))
    print('0x%08X big-endian bytes   : %s' % (val, be.hex()))
    print('swap_endian32(0x%08X) = 0x%08X' % (val, swap_endian32(val)))

    # 写二进制文件再按不同字节序解析(模拟跨平台)
    import tempfile, os
    path = os.path.join(tempfile.gettempdir(), 'endian_demo.bin')
    with open(path, 'wb') as f:
        f.write(struct.pack('<I', 1))
        f.write(struct.pack('<I', 0x00FF00FF))
        f.write(struct.pack('<I', 0x80000000))
    le_nums = parse_binary_file(path, '<')
    be_nums = parse_binary_file(path, '>')
    assert le_nums == [1, 0x00FF00FF, 0x80000000], le_nums
    assert be_nums != le_nums  # 用错字节序会得到不同整数
    print('binary parse little-endian:', [hex(x) for x in le_nums])
    print('binary parse big-endian   :', [hex(x) for x in be_nums])
    os.remove(path)
    print('All endian tests passed!')

易错点

• 网络字节序是固定的大端, 与 x86 小端不同, 网络协议解析必先 ntohl/ntohl 转换
• struct 默认按本机字节序与对齐填充, 跨平台必须显式 '<' '>' '!' (network=!)
• 手写 swap_endian 的掩码要按位宽写对(0xFF000000 等), 32 位与 64 位不同
• 二进制文件用错字节序解析出的整数'合理但错误', 无异常抛出, 需对照协议文档验证
• Python int 无符号化: 解析无符号整数用 struct 的 I/L, 别把高位当符号

例题

信源

• OI Wiki✓ https://oi-wiki.org/misc/endianness/
• OI Wiki✓ https://raw.githubusercontent.com/OI-wiki/OI-wiki/master/docs/misc/endianness.md
• web✓ https://en.wikipedia.org/wiki/Endianness