Atualmente grandes sites tem se utilizado das mais variadas tecnologias open source para manter seus serviços em constante expansão. Acabo de ler no site Pingdom, uma lista de tecnologias open-source usadas por algumas das maiores empresas de Internet, no próprio site o autor do post lembra que nem todas as empresas que usam estas tecnologias estão listas, existem ainda grandes empresas que usam as tecnologias open-source, por exemplo o Google o maior buscador do mundo.

Segue a lista:

Cassandra

Empresa: Facebook e Twitter

O que é? Cassandra é um banco de dados “NoSQL” sistema de gerenciamento distribuído de dados projetado para ser capaz de lidar com dados dispersos por um grande número de servidores. Atualmente é um projeto Apache com contribuintes (e usuários) como o Facebook, Twitter, Digg e Rackspace. Vale lembrar que o Twitter anunciou em Fevereiro de 2010 a troca do banco de dados atual (mySQL) para o Cassandra, leia mais aqui.

Project homepage: http://incubator.apache.org/cassandra/

HipHop

Empresa: Facebook

O que é? HipHop transforma código PHP no C ++ e compilá-o para que ele carregue. Facebook desenvolveu porque eles usam um monte de códigos em PHP, e sendo uma linguagem de script que não é ideal quando se trata de desempenho. Melhorar o desempenho PHP rapidamente acrescenta-se a algumas poupanças significativas para os sites, pois pode-se fazer mais com menos servidores, que podem ser utilizados para realizar a mesma carga de trabalho. Para um site como o Facebook, que usa dezenas de milhares de servidores, as economias são enormes. Por exemplo, ele deixa API do Facebook manipular o dobro de muitos pedidos, e ainda o uso da CPU 30% menor em comparação a antes. A carga média da CPU nos servidores do Facebook web foi cortado pela metade.

Página do Projeto: http://wiki.github.com/facebook/hiphop-php/

Memcached

Empresa: LiveJournal

O que é? Memcached é um sistema de cache de memória distribuída, frequentemente usado para acelerar database-driven em websites. É utilizado por uma tonelada de sites, por exemplo, o YouTube, LiveJournal, Wikipedia, Amazon, Facebook, Digg, Twitter, Reddit, além de outros.

Project homepage: http://www.memcached.org/

Qizmt

Empresa: MySpace

O que é? Qizmt é uma implementação de C# MapReduce rodando em Windows. Como todas as implementações MapReduce ele foi concebido para apoiar a computação distribuída de grandes conjuntos de dados sobre um grande número de computadores (clusters). É usado internamente pelo MySpace e tornou-se fonte aberta.

Página do Projeto: http://code.google.com/p/qizmt/

Kestrel

Empresa: Twitter

O que é? Kestrel é a fila de mensagens distribuídas usado pelo Twitter. Ele é baseado no sistema anterior de fila de mensagens do Twitter.

Página do projeto: http://github.com/robey/kestrel

Ruby on Rails

Empresa: 37signals

O que é? Ruby on Rails é um framework de aplicações web para a linguagem de programação Ruby, projetado para o desenvolvimento rápido (ágil). A 37signals usou para desenvolver as suas próprias aplicações (Basecamp, etc), mas depois lançou-o publicamente como open source. Não é nenhum exagero dizer que ele foi um sucesso absoluto, embora ao contrário dos outros projetos listados aqui isso não tem muito a ver com a escalabilidade, mas sim a facilidade de desenvolvimento.

Página do projeto: http://rubyonrails.org/

Voldemort

Empresa: LinkedIn

O que é? Voldemort é uma chave distribuída de sistema de armazenamento de valor (uma espécie de banco de dados simples) que o LinkedIn tem desenvolvido internamente para lidar com exigentes necessidades de armazenamento de alta escalabilidade para algumas das suas funcionalidades. É um projeto relativamente novo.

Página do Projeto: http://project-voldemort.com/

Hadoop

Empresa: Yahoo

O que é? Hadoop é uma implementação Java do MapReduce e é amplamente utilizada para calcular e escalonar. O projeto foi Hadoop começou realmente fora do Yahoo, como parte de um projeto de mecanismo de pesquisa chamado Nutch e programado por Doug Cutting. O Yahoo contratou Doug e se tornou a força motriz para o desenvolvimento continuado de Hadoop que, contudo, manteve-se um projeto open source no Apache.

Página do projeto: http://hadoop.apache.org/

Nginx

Empresa: Rambler

O que é? Nginx é um servidor web, de alta performance para servidores linux que também pode ser usado como um balanceador de carga e cache de servidores. Ele foi desenvolvido por Igor Sysoev para uso com serviços Rambler’s e foi projetado para ser capaz de lidar com um grande número de conexões simultâneas de forma eficaz. Nginx foi ganhando popularidade rapidamente e é usado por milhões de websites em uma forma ou de outra, incluindo o WordPress.com e Hulu.

Project homepage: http://nginx.org/

Como citei acima existem outras empresas e serviços que utilizam soluções open source, quem souber de mais por favor coloque nos comentários.

Fonte: Pingdom

O MySQL é o banco de dados open source mais utilizado no mundo, em seu site, estima-se que todos os dias são feitos 65.000 novos downloads para utilização deste ótimo banco de dados.

O Hostnews, tem por trás de seu site, banco de dados MySQL e já estamos chegando a 80 MB do tamanho do banco de dados.

A maioria esmagadora de hostings, pra não dizer todos, oferecem o banco de dados MySQL aos seus clientes, que por sinal tem ótima aceitação, ainda mais por suas constantes atualizações e melhorias feitas com relação à segurança e performance deste banco.

Porém um grande problema do banco de dados MySQL, é que quando o mesmo cresce a importação/exportação pode se tornar uma tarefa árdua e sem sucesso através do phpmyadmin.

A solução indicada pela Inblog é utilizar um script chamado BigDump, segundo o site, o BigDump divide o arquivo .sql em várias partes acelerando o processo de importação/exportação do seu banco.

Faça o download do BigDump, altere com as informações de seu banco de dados (hostname, nome do banco de dados, usuário e senha), faça o Upload para seu servidor. Lembrando que o arquivo bigdump.php deverá estar na mesma pasta do arquivo .sql.

Site Oficial do BigDump

Fonte: Inblog