OPML: Framework de Aprendizagem de Máquina Baseado em Métodos Otimistas

Propomos uma nova estrutura chamada OPML(Aprendizagem de Máquina Optimista), que pode executar de forma eficiente a inferência e o treinamento de modelos de IA em sistemas de blockchain. Comparado ao ZKML, o OPML possui custos mais baixos e maior eficiência. Os requisitos de hardware do OPML são muito baixos, um PC comum pode executar tarefas de OPML, incluindo modelos de linguagem de grande escala como o 7B-LLaMA, sem a necessidade de GPU.

OPML utiliza um mecanismo de jogo de verificação para garantir a descentralização e a verificabilidade dos serviços ML. O seu processo é o seguinte:

1. O usuário inicia um pedido de serviço ML
2. O servidor conclui a tarefa e submete o resultado à cadeia.
3. Os validadores verificam os resultados; se houver contestação, inicia-se o jogo de validação.
4. Localizar passos de erro específicos através do protocolo de divisão
5. Por fim, a arbitragem passo a passo é feita por contrato inteligente

Jogo de Verificação de Uma Fase

Os pontos-chave do OPML de uma única fase incluem:

• Construir uma máquina virtual para execução fora da cadeia e arbitragem na cadeia (VM)
• Implementar uma biblioteca DNN leve especializada, para aumentar a eficiência de inferência de IA
• Usar tecnologia de compilação cruzada para compilar o código de inferência de IA em instruções VM
• Utilizar a árvore de Merkle para gerenciar imagens VM, apenas fazer upload do hash raiz na cadeia.

Nos testes básicos, conseguimos completar a inferência DNN em 2 segundos, e todo o processo de desafio pode ser concluído em 2 minutos.

Jogo de Verificação em Múltiplas Fases

Para superar as limitações do esquema de uma única fase, propomos um jogo de validação em múltiplas fases:

• Apenas calcular na VM na fase final, as outras fases podem ser executadas de forma flexível.
• Aproveitar plenamente a aceleração e o processamento paralelo com GPU/TPU
• Aumentar significativamente o desempenho de execução, chegando ao nível do ambiente local
• Utilizar a árvore de Merkle para garantir a integridade e segurança das transições entre fases

Usando o modelo LLaMA como exemplo, adotamos o método OPML em duas fases:

• A segunda fase envolve a verificação do jogo no gráfico de cálculo, podendo utilizar aceleração por GPU.
• A primeira fase converte o cálculo de um único nó em instruções VM

O método de múltiplas fases pode alcançar uma aceleração de cálculo de α vezes em comparação com o método de uma única fase, ao mesmo tempo que reduz consideravelmente o tamanho da árvore de Merkle.

Consistência e Determinismo

Para garantir a consistência dos resultados do ML, adotámos as seguintes medidas:

1. Utilizar o algoritmo de ponto fixo ( para quantização técnica ) para reduzir a influência de erros de ponto flutuante.
2. Adotar uma biblioteca de ponto flutuante de software consistente entre plataformas

Essas tecnologias superaram eficazmente os desafios trazidos pelas variáveis de ponto flutuante e pelas diferenças de plataforma, aumentando a fiabilidade do cálculo OPML.

O OPML ainda está em desenvolvimento. Convidamos todos os interessados no projeto a se juntarem e contribuírem para o desenvolvimento do OPML.