docs/index.rst

   1 =============================================
   2 Nanopb: Protocol Buffers with small code size
   3 =============================================
   4
   5 .. include :: menu.rst
   6
   7 Nanopb is an ANSI-C library for encoding and decoding messages in Google's `Protocol Buffers`__ format with minimal requirements for RAM and code space.
   8 It is primarily suitable for 32-bit microcontrollers.
   9
  10 __ http://code.google.com/apis/protocolbuffers/
  11
  12 Overall structure
  13 =================
  14
  15 For the runtime program, you always need *pb.h* for type declarations.
  16 Depending on whether you want to encode, decode or both, you also need *pb_encode.h/c* or *pb_decode.h/c*.
  17
  18 The high-level encoding and decoding functions take an array of *pb_field_t* structures, which describes the fields of a message structure. Usually you want these autogenerated from a *.proto* file. The tool string *nanopb_generator.py* accomplishes this.
  19
  20 So a typical project might include these files:
  21
  22 1) Nanopb runtime library:
  23     - pb.h
  24     - pb_decode.h and pb_decode.c (needed for decoding messages)
  25     - pb_encode.h and pb_encode.c (needed for encoding messages)
  26 2) Protocol description (you can have many):
  27     - person.proto (just an example)
  28     - person.c (autogenerated, contains initializers for const arrays)
  29     - person.h (autogenerated, contains type declarations)
  30
  31 Features and limitations
  32 ========================
  33
  34 **Features**
  35
  36 #) Pure C runtime
  37 #) Small code size (2–10 kB depending on processor)
  38 #) Small ram usage (typically 200 bytes)
  39 #) Allows specifying maximum size for strings and arrays, so that they can be allocated statically.
  40 #) No malloc needed: everything is stored on the stack.
  41 #) You can use either encoder or decoder alone to cut the code size in half.
  42
  43 **Limitations**
  44
  45 #) User must provide callbacks when decoding arrays or strings without maximum size. Malloc support could be added as a separate module.
  46 #) Some speed has been sacrificed for code size. For example varint calculations are always done in 64 bits.
  47 #) Encoding is focused on writing to streams. For memory buffers only it could be made more efficient.
  48 #) The deprecated Protocol Buffers feature called "groups" is not supported.
  49 #) Fields in the generated structs are ordered by the tag number, instead of the natural ordering in .proto file.
  50 #) Unknown fields are not preserved when decoding and re-encoding a message.
  51 #) Numeric arrays are always encoded as packed, even if not marked as packed in .proto. This causes incompatibility with decoders that do not support packed format.
  52 #) Cyclic references between messages are not supported. They could be supported in callback-mode if there was an option in the generator to set the mode.
  53
  54 Getting started
  55 ===============
  56
  57 For starters, consider this simple message::
  58
  59  message Example {
  60     required int32 value = 1;
  61  }
  62
  63 Save this in *message.proto* and compile it::
  64
  65     user@host:~$ protoc -omessage.pb message.proto
  66     user@host:~$ python nanopb/generator/nanopb_generator.py message.pb
  67
  68 You should now have in *message.pb.h*::
  69
  70  typedef struct {
  71     int32_t value;
  72  } Example;
  73
  74  extern const pb_field_t Example_fields[2];
  75
  76 Now in your main program do this to encode a message::
  77
  78  Example mymessage = {42};
  79  uint8_t buffer[10];
  80  pb_ostream_t stream = pb_ostream_from_buffer(buffer, sizeof(buffer));
  81  pb_encode(&stream, Example_fields, &mymessage);
  82
  83 After that, buffer will contain the encoded message.
  84 The number of bytes in the message is stored in *stream.bytes_written*.
  85 You can feed the message to *protoc --decode=Example message.proto* to verify its validity.
  86
  87 For complete examples of the simple cases, see *tests/test_decode1.c* and *tests/test_encode1.c*. For an example with network interface, see the *example* subdirectory.
  88
  89 Compiler requirements
  90 =====================
  91 Nanopb should compile with most ansi-C compatible compilers. It however requires a few header files to be available:
  92
  93 #) *string.h*, with these functions: *strlen*, *memcpy*, *memset*
  94 #) *stdint.h*, for definitions of *int32_t* etc.
  95 #) *stddef.h*, for definition of *size_t*
  96 #) *stdbool.h*, for definition of *bool*
  97
  98 If these header files do not come with your compiler, you should be able to find suitable replacements online. Mostly the requirements are very simple, just a few basic functions and typedefs.
  99
 100 Debugging and testing
 101 =====================
 102 Extensive unittests are included under the *tests* folder. Just type *make* there to run the tests.
 103
 104 This also generates a file called *breakpoints* which includes all lines returning *false* in nanopb. You can use this in gdb by typing *source breakpoints*, after which gdb will break on first nanopb error.
 105
 106 Wishlist
 107 ========
 108 #) A specialized encoder for encoding to a memory buffer. Should serialize in reverse order to avoid having to determine submessage size beforehand.
 109 #) A cleaner rewrite of the Python-based source generator.
 110 #) Better performance for 16- and 8-bit platforms: use smaller datatypes where possible.