Objectif

Le but à long terme de ce projet est de pouvoir partager des codes sources simples de différent langage de scripts, de permettre une execution efficace de ces codes par traduction en langage compilable et permettre l'interaction avec ce code compilé depuis les différents langages de script.

Dans un premier temps on se propose d'identifier un langage de script minimal proche de Python et Ruby. De traduire ce language dans un langage compilable (C++ ou le langage Go) et de permettre l'interaction entre les langages de script et le version compilée.

Les contraintes technologigues

Python vers 3.5
Python Abstract Syntax Trees https://docs.python.org/3/library/ast.html
MessagePack

Plan de travail

Découverte du sujet et des technologies
Analyse du projet Project-2014-2015-ESP8266
- et notamment le contenu du répertoire parser du projet https://github.com/librallu/RICM4Projet
Définir langage de script minimal à partir Python
- orienté objet
- type de variable simple

Divers

Notes

L'indentation ne peut pas être traiter par un parser de type PEG (qui ne traite que context-free grammar,

les langages comme Python sont context-sensitive grammar ) - Voir http://stackoverflow.com/questions/4205442/peg-for-python-style-indentation

- On peurrendre explicite les blocs de code avec le module token avant de passer par le parser:

from tokenize import tokenize, untokenize, NAME, INDENT, DEDENT
from io import BytesIO

def indentation_explicitation(s):
    result = []
    g = tokenize(BytesIO(s.encode('utf-8')).readline)  # tokenize the string
    for toknum, tokval, _, _, _ in g:
        if toknum == INDENT:  # replace NUMBER tokens
            result.extend([
                (NAME, '<INDENT>')
            ])
        elif toknum == DEDENT:
            result.extend([
                (NAME, '<DEDENT>')
            ])
        else:
            result.append((toknum, tokval))
    return untokenize(result).decode('utf-8')

s = """
def a(b):
   if b:
       print('yop')
   else:
       print('poy')

   b = b + 1

a(true)
"""
print(indentation_explicitation(s))

Ce qui donne:

(env3.4)auguste@akira:~/work/15-16/kael (master)> python token_ex.py 

def a (b ):
<INDENT> if b :
<INDENT> print ('yop')
<DEDENT> else :
<INDENT> print ('poy')

<DEDENT> b =b +1 

<DEDENT> a (true )