Ceph com S3 gratuito: eu pus 100 TB de disco e aproveitei 30

De onde eu falo

Eu sou CEO de uma empresa de tecnologia. Hoje eu hospedo petabytes de vídeo pra cliente de setor público e de setor privado. E eu sou mão na massa: a visão que eu tenho pra te dar é a de quem paga a conta e a de quem mexe com a infraestrutura.

O Ceph eu não li num tutorial. A gente montou, testou, quebrou e voltou. Eu sofri isso na pele, e é dessa experiência que sai o número do título: 100 TB de disco, 30 TB aproveitados.

O que é o Ceph, sem enrolar

O Ceph é um sistema de storage distribuído. Pensa em você no Windows com o seu drive C, ou no Linux com a sua pasta home. Agora imagina poder só plugar HD e esse espaço ir crescendo.

No Ceph, a área onde os arquivos são salvos se chama pool. Você cria uma pool de 2 TB. Encheu? Você pluga mais 1 TB e passa a ter 3 TB, sem mexer na aplicação, sem fazer nada. Chegou um NVMe novo? Pluga também.

A teoria é a coisa mais linda do mundo, e é essa a promessa do Ceph. Até onde eu sei, gente grande como quem roda OpenStack usa Ceph até hoje. E tem história catastrófica de uso de Ceph em larga escala.

Na gravação eu falei que o Ceph é mantido pela Red Hat. É um sistema fantástico. Quando ele está configurado certinho, é muito bacana de ver funcionar.

Onde o S3 entra nessa história

O Ceph fala vários protocolos. Um é o CephFS, que funciona como um compartilhamento no estilo NFS, pra você dividir a mesma área com outros servidores. O outro é o S3.

Todo mundo usa S3, e muita gente acha que S3 é só da Amazon. A Amazon criou, e o serviço de nuvem dela tem esse nome. Mas o S3 virou um padrão: existem várias tecnologias que falam esse protocolo pra fazer upload e entregar arquivo.

O Ceph é uma delas. A documentação chama essa parte de Ceph Object Gateway e descreve a interface como compatível com um grande subconjunto da API do Amazon S3.

Na prática: você cria uma URL sua, aponta a aplicação pra ela, e ela recebe os arquivos. O Ceph divide cada arquivo num monte de objeto e salva nos discos. É o seu próprio storage S3, com software gratuito. Maravilhoso.

Agora vamos às nuances.

Primeira nuance: quantas cópias de cada arquivo

Quando você cria uma pool, você tem que dizer quantas cópias o Ceph mantém de cada arquivo. O motivo é óbvio. Se você tem três NVMe de 1 TB e uma cópia só, o arquivo está num deles. Queimou esse NVMe, acabou o seu arquivo.

Então uma réplica não dá. Duas réplicas você até pode usar, mas é muito arriscado, por causa de uma coisa que o Ceph faz o tempo todo: rebalanceamento.

Toda vez que entra muito arquivo, sai muito arquivo ou entra um HD novo, os PGs saem redistribuindo os dados de forma acelerada, pra pool ficar bem distribuída e não ter um HD cheio e outro vazio. O sistema é muito inteligente nisso.

Só que agora imagina: você tem duas réplicas e um disco queimou. Sobrou uma. E se der pau nessa segunda, bem no meio do rebalanceamento?

Eu trabalho com redundância, com cluster, com alta disponibilidade. Você até pode ter um ativo-ativo, mas precisa de pelo menos uma terceira opção: uma redundância em outro lugar, ou um backup que você consegue voltar rápido. E backup que volta rápido não é o glacial baratinho que tem nas nuvens, pelo amor de Deus.

Eu fui olhar a documentação de pools do Ceph: a configuração típica que ela descreve é a de três réplicas de cada objeto. Foi com três que eu trabalhei.

Sobre backup que volta de verdade, eu tenho um texto só disso: por que eu testo restore e derrubo a produção.

Segunda nuance: um servidor só não é Ceph

Tem gente que pensa assim: vou contratar um servidor, colocar um monte de HD nele e instalar o Ceph. Não é assim. O Ceph precisa de várias máquinas interligadas pra funcionar.

E do jeito que a gente montou, cada máquina tem uma placa de rede dedicada pra ele. Exemplo: três servidores, cada um com o seu IP público, e em cada um deles uma placa a mais. Essa placa conversa exclusivamente com o Ceph. Ela existe pra isso.

Pra que isso? Volta no rebalanceamento.

A conta dos 18 TB numa placa de 1 Gb

Imagina um storage mais lento, de HD mecânico, que não precisa de alta performance, com uns 30 TB ocupados. Queimou um HD de 18 TB, de 20 TB. Você tem que trocar.

Na hora que você tira o disco, o Ceph começa a rebalancear os dados pros outros. Na hora que você coloca o novo, ele enxerga um disco com 18 TB livres e todos os outros com 40%, 50% de uso. O que ele faz? Aloca dado ali, pra deixar todos os HDs com a mesma ocupação.

Agora pensa em como fica a rede com uma plaquinha de 1 Gb precisando transacionar 18 TB. Na gravação eu deixei isso como exercício. A conta é esta:

Isso é a conta pura, com o link no talo o tempo todo e o disco acompanhando, o que não acontece. A documentação de hardware do Ceph usa uma régua mais pessimista: três horas pra replicar 1 TB e trinta horas pra replicar 10 TB numa rede de 1 Gb. E recomenda, com todas as letras, pelo menos 10 Gb entre os servidores.

Por isso eu digo que placa de 1 Gb já não serve pro Ceph. Tem que ser 10 Gb, em fibra. E aí começa a aumentar muito o preço de uma coisa que é gratuita.

Onde 100 TB viram 30

Com três réplicas, a conta é direta: 100 TB dividido por 3 dá 33 TB.

Mas calma, que ninguém trabalha com 100% do disco. Faz o teste: enche o seu HD até 95%. Pode ser o do telefone, o do notebook ou o de um servidor dedicado. A performance degrada absurdamente.

Cada sistema de arquivos lida com isso de um jeito: XFS, ZFS, EXT4 (EXT3 ninguém usa mais). Mas uma coisa é unânime: com 95%, 96% de uso, a performance vai pro chão. Eu nunca uso disco no limite. Deixo uma margem de pelo menos 10%.

E ainda tem o que você já conhece do seu notebook: você compra um SSD de 512 e aparece 480, 470. Sempre tem um pouquinho a menos, e depende da marca.

O próprio Ceph tem essa trava. Na configuração padrão, ele avisa quando um disco passa de 85%, para de mandar dado de rebalanceamento pra ele em 90% e, em 95%, considera o disco cheio e bloqueia as operações pra não perder dado. A mesma página diz que deixar um cluster de produção chegar perto desse limite não é boa prática.

Não é a primeira vez que eu vejo disco comprado sumir na conta. Eu já contei aqui a história dos 360 TB de TrueNAS pra usar 70.

O teste que a gente fez: seis nós, placa separada, 100 TB

A gente fez esse experimento aqui na empresa. Foram seis nós: seis servidores dedicados, cada um com uma placa de rede separada, interligados por um switch só pra esse storage.

A gente colocou em produção e testou várias e várias coisas:

• velocidade de escrita;
• velocidade de leitura e de saída;
• storage distribuído com S3;
• storage com CephFS;
• quebrar de propósito e fazer rollback.

Testamos na mão. Por quê? Porque se eu for botar cliente num negócio desse, eu tenho que ter certeza de que eu ou a minha equipe dominamos a tecnologia, pra não ficar refém dela. Quando um storage desse cai, você já sabe: é aquela loucura pra voltar e tentar recuperar.

Eu morro de medo dessas coisas. Sou extremamente prevenido.

O resultado: dos 100 TB que a gente usou no teste, aproveitamos apenas 30 TB dessa pool. Tinha pools menores, de SSD e de NVMe, e eu nem vou entrar nelas. Estou falando da pool de HD.

O que eu descobri sobre performance

O que eu li na documentação da Red Hat é que o Ceph tem uma performance absurda a partir do momento em que você tem algo na casa de 50 nós. Eu tinha seis.

Então eu não trabalhei com Ceph de 50 nós e não sei te falar se com 50 ele entrega o que a documentação promete. Em tese, se está na documentação, dá pra acreditar.

O que eu posso te adiantar é o que eu medi no meu tamanho: com 100 TB e seis nós, eu consegui meios de ter performance melhor sem usar o Ceph, e mais barato.

Por que o gratuito sai caro

Faz a lista de compras comigo:

• seis servidores dedicados, que são dezenas de milhares de reais;
• uma placa de rede de 10 Gb em cada um, e a mais barata enterprise deve custar uns R$ 2.000;
• cabo de fibra óptica;
• switch de fibra pra interligar tudo em 10 Gb;
• os HDs pra somar 100 TB.

Tudo isso pra aproveitar 30 TB.

Um plano de 30 TB num drive de nuvem deve custar, sei lá, R$ 700, R$ 1.000 por mês. Esse número é chute meu, de cabeça, não é cotação. E lógico que quem vende esse plano sabe que a maioria não usa o espaço todo. Uns pagam pelo que os outros não usam. É igual overbooking de passagem aérea.

O Ceph é um storage maravilhoso, mas é um negócio caro pra caramba de fazer.

Pra quem o Ceph serve, e pra quem não serve

Eu não estou falando mal dele. É super estável. Você mete HD e o trem vai crescendo sozinho, sem queda, sem nada.

Mas não é pra qualquer empresa, não é pra qualquer bolso e não é pra qualquer pessoa mexer. A gente apanhou muito pra aprender de fato, mesmo com treinamento, documentação, Red Hat, suporte e consultoria.

Quando você bota pra rodar, é diferente. A sua estrutura on-premise é uma. Os seus servidores, os seus cores, o seu kernel, a sua versão de Linux, o switch que você usa, se é um Mikrotik, um Huawei, um Juniper. Tudo isso muda o resultado.

Envolve muita coisa que a maioria das pessoas não faz ideia, porque a pessoa só usa o S3 dela e manda o arquivinho pra lá.

Por que eu fui tão fundo nisso

Porque eu acredito muito que o futuro é on-premise. Quando você atende governo brasileiro e empresa brasileira, LGPD não é brinquedo. Tem muita gente levando LGPD na maciota. Quando as bombas começarem a chegar, a galera vai se assustar.

Eu contei em outro texto como eu migrei da nuvem pro on-premise e por que isso salvou a empresa. Storage é uma parte grande dessa conta, e eu preciso ter certeza de que domino antes de pôr cliente em cima.

Nota de cronologia

Este relato é da gravação de 13 de junho de 2026. No fim dela eu aviso que ia abrir um grupo de espera pra uma imersão de três dias em São Paulo, de infraestrutura pesada de produção. Isso foi naquela época. Hoje esse caminho tem página: a Imersão de Infraestrutura.

Sobre quem mantém o Ceph: ele é um projeto de código aberto, e a Ceph Foundation fica debaixo da Linux Foundation. Quando eu fui conferir, em 9 de outubro de 2026, a própria página do Red Hat Ceph Storage informava que, fora do uso com OpenStack, o produto passou a ser tratado pela IBM.

E um detalhe sobre a placa dedicada: a documentação de rede do Ceph trata a rede separada de cluster como opcional, e diz que ele funciona só com a rede pública em muitos casos, principalmente com links de 25 Gb ou mais. No nosso desenho, com placa de 10 Gb, a gente separou.

Perguntas frequentes