Deep Learning Inteligência Artificial Machine Learning NLP Visão Computacional
Oi pessoal, comentei lá no Noite de Processing (28/04/2020) sobre a gente criar um espaço de divulgações das coisas que produzimos, de troca de referências, sob eixos temáticos. Não sei se aqui no Q&A é o melhor lugar, mas a gente vai se adaptando (talvez no futuro a gente mude para um fórum?).
Um tópico de interesse que começo compartilhando dentro da Programação Criativa é sobre Inteligência Artificial, Machine Learning, Deep Learning, Visão Computacional, Processamento de Linguagem Natural (NLP).
Sintam-se à vontade para compartilhar, comentar, sugerir outras formas de organização etc.
Incentivando a participação das pessoas com suas produções, eu começo com meu lado acadêmico.
Durante meu mestrado em Artes Visuais na USP eu publiquei um artigo na revista Ars, que chama "Artes e Inteligências Artificiais: Implicações para a Criatividade" https://www.revistas.usp.br/ars/article/view/152262
E minha dissertação chama "Extentio: Desenhos de Máquina, Desígnios Humanos", onde eu comento esse debate sobre arte, máquinas e processos criativos, e relato a produção de um software que simula um processo de desenho de observação. Disponível em: https://doi.org/10.11606/D.27.2020.tde-15012020-101135
Participei também de algumas discussões na imprensa: - https://tab.uol.com.br/edicao/arte-artificial/ - https://jornal.usp.br/podcast/inteligencia-artificial-pode-gerar-desenhos-de-observacao/ - https://tab.uol.com.br/noticias/redacao/2020/01/24/inteligencia-artificial-ganha-copyright-na-china-mas-maquina-e-autora.htm
Alguns experimentos artísticos com IA e programação criativa em geral estão no meu instagram: https://instagram.com/sergiovenancio.art
Oi Sérgio, eu estou dando os primeiros passos no universo do ML
Eu fiz o curso do Gene Kogan (ITP NYU) Neural Aesthetics, da série Machile Learning for Artists, que foi meu primeiro contato:
Primeiro trabalho que fiz foi um deepfake com pix2pix, baseado no experimento de um dos alunos do Gene:
Fiz algumas coisas com KenBurns3d e First Order Motion tb:
Comecei a fazer uns experimentos com RunwayML, que tem uma interface fácil de usar. Fiz um experimento muito legal com StyleGan, treinado na nuvem deles com a obra do meu professor Rui de Oliveira. Depois fiz um latent space walker com Processing e RunwayML.
Mas como meu interesse é rodar ML em tempo real, quero aprender mais como fazer tudo localmente. Além disso, o dólar está muito caro para esse modelo de ML in the cloud. Mas estou gostando do notebooks no Google Collab.
Inclusive, umas das conversas (pirações) no workshop presencial do Gene na Casa Firjan foi de juntar um pessoal para criar um cluster brasileiro compartilhado. Ele tinha falado que a ITP NYU disponibilizava para estudantes e professores um grid de GPUs da Universidade, um sistema de filas.
Mas pelo que tenho visto, se usarmos a técnica de transfer learning, conseguimos fazer muita coisa com hardware que já dispomos. Quero muito aprender mais sobre isso.
Também não sei se esse formato aqui é o melhor, mas vamos testando!
Abraços!
Boa pessoal,
Obg por compartilhar suas pesquisas Sérgio, são muitíssimo interessante. Me senti inspirado a organizar e compartilhar as anotações do workshop do Gene Kogan que o Marlus falou: https://encontrosdigitais.com.br/articles/vamoss-Oficina-Machine-Learning-para-Criativos-Anotacoes-da-Aula/
Gostei da possibilidade de discutir o tema aqui, acho uma adaptação possível de plataforma e talvez com poucos ajustes isso aqui funcione como fórum. Vamos ver como desenrola :)
Achei muito instigante discutir AI e criatividade, principalmente pelo tema da criatividade ser um assunto bastante proibitivo por sua abstrata compreensão. Isso me faz perguntar: Sabemos o suficiente da criatividade humana para reproduzir numa máquina?
Li o primeiro artigo e estou avançando na leitura da sua dissertação. To achando ótimo! Curtindo especialmente a parte histórica dela.
Penso na necessidade de discutir repertório no processo criativo. Tanto repertório técnico(diferentes tipos de estilos), quanto repertório simbólico(cultural). Poderíamos programar estilos quanto fôssemos capazes num software, tomando decisões criativas de diferentes níveis de complexidade como apontado no modelo de categoria semiótica que você trouxe!? Não seria a busca por expandir o repertório da máquina a motivação das inúmeras bases de AIs que emergem?
O Extentio me fez lembrar desse software: https://github.com/fogleman/primitive
Não tenho nenhuma produção acadêmica relacionada, apenas experimentos:
Obg por responder minhas inquietações, são perguntas muito latentes no seu tema de pesquisa.
Se tem algo certo é que quanto mais estudamos, mais temos pra estudar, salve Socrates hehehehe
Vou corrigir o Q&A para ordenar as respostas cronologicamente. Está confuso sortear por respostas mais votadas.
Meu intuito ao mostrar o Primitive foi mais pensar como seria ele rodando no loop de decisão do Extention, expandindo a representação para além das linhas, mas para as formas que o Primitive utiliza. Achei curioso imaginar.
Errata: ao comparar o Extentio ao Primitive, falei que era antiquado, mas foi a frase errada. Eu tinha escrito antes que foi bom ver o Primitive, porque ele usa algoritmos mais clássicos, como as quantizações, cores médias, similar ao Extentio. O Extentio é antiquado em relação às tecnologias atuais de Style Transfer, Pix2pix, SketchRNN, mas meu texto se perdeu... Aliás, essa é uma outra boa discussão: brinco que é antiquado, mas é interessante ver coisas que usam GOFAI (good old-fashioned artificial intelligence), acho que tem coisas que esteticamente são muito mais interessantes do que as GANs atuais.
Pessoal, primeiro, peço desculpas por não ter me atentado ao uso do markdown, minha postagem anterior ficou sem links.
Mas que maravilha as respostas, Marlus e Carlos!
@marlus, muito legais os experimentos que vem fazendo, quero acompanhar seu mestrado hein? Precisando de qualquer ajuda, no que eu puder ajudar pode contar comigo. E fiquei bem interessado nesse cluster brasileiro do Gene, se precisarem eu posso tentar juntar assinaturas de professores e pesquisadores daqui da USP pra pedir esse acesso. A situação por aqui é a mesma, não tenho acesso a boas máquinas em casa, e estou dependente de serviços cloud também (que nem pago). E me interesso muito por soluções mais DIY, acho que por isso gosto tanto do Wekinator da Rebecca Fiebrink. Quem sabe a gente monta aí um artigo pro Encontros Digitais do tipo "guia de ML feita em casa" com aplicativos e serviços gratuitos, dicas, etc.
@vamoss, obrigado pelas anotações do workshop do Gene, vou ler com calma. E agradeço também pela oportunidade da discussão a partir da pesquisa. Vou comentar colocando uns links que você não precisa acessar porque já conhece, mas quem estiver acompanhando pode ficar mais situado.
Vou falar um pouco sobre "Sabemos o suficiente da criatividade humana para reproduzir numa máquina?": de certo que não, mas acho academicamente produtivo especular sobre o assunto através de máquinas que simulam processos criativos particulares, reunindo autores e modelos de análise desse tipo de obra, para se expandir o debate, não no sentido de chegar a um consenso, mas sim de ilustrar diversos pontos de vista, ainda que limitados. E aí gosto de um pensamento da Margaret Boden quando ela fala que tentar conferir criatividade a uma máquina por si só é furada (justamente porque a gente não entende suficientemente a criatividade), mas se a gente fizer isso tentando descobrir mais sobre a própria criatividade humana, essa talvez seja a melhor motivação. Não entendo isso necessariamente como uma busca por um modelo científico que explique a criatividade, mas sim sobre o quão longe ela pode ir, e quão diversificada ela pode ser. Olhar para obras como Aaron do Harold Cohen, ou Paul do Patrick Tresset, me diz muito mais sobre visões e ações criativas e diferenciadas deles do que uma eventual generalização científica do fenômeno da criatividade. No meu caso, digo que simulo um processo criativo, mas não posso e nem quero falar que o Extentio é criativo, e essa é uma das responsabilidades da minha pesquisa (senão a Silvia Laurentiz briga comigo rs). Mas o fato de ter uma máquina inserida no loop criativo humano (gerar-julgar), sendo ela cada vez mais autômata e autônoma, tomando decisões no meu lugar e eu tendo que significar estas decisões dentro de contextos de criação, é um fenômeno peculiar (e pra mim muito transformador). Espero que a pesquisa em si traga mais questões do que respostas para as pessoas que têm contato com ela rs
As perguntas sobre repertório são ótimas. Não vejo o modelo semiótico como milestones para a IA atingir ao expandir seus repertórios. Por hora acho que os modelos atuais do Deep Learning são insuficientes para aquisição de todo tipo de repertório, devido à natureza dos datasets que não toleram ambiguidades, e dos modelos de aprendizado estatístico. Mas estou pra discutir sobre isso agora no doutorado, investigando a memória e a recordação, justamente as formas que adquirimos e expressamos repertórios. Muito causo pra estudar ainda... rs
Espero não ter viajado demais rs Mas quero ouvir de vocês também o que acham.
E ótimo conhecer o Primitive. O Extentio é meio antiquado perto destas coisas mais recentes...