设置FP32/FP16/INT8模式

Tengine的Kernel模式有3种:FP32, FP16, INT8。

注意:目前支持FP16的CPU为A55/A75/A76。

有两种方式可以设置:

·通过环境变量设置:

export KERNEL_MODE=0     //Float32 mode

 export KERNEL_MODE=1     //Float16 mode

 export KERNEL_MODE=2     //Int8 mode


·在源码中通过API设置 通过设置graph属性"kernel_mode"进行设置

 int set_graph_attr(graph_t graph, const char* attr_name, const void* buf, int size);


以下是设置INT8模式的例子:

 #include "tengine_c_api.h"

 graph_t graph = create_graph(nullptr, "caffe", "sqz.prototxt","sqz.caffemodel);

 int val=2; // 0 is FP32, 1 is FP16 , 2 is INT8

 set_graph_attr(graph,"kernel_mode",&val,sizeof(val));